MtoM Mag - Le journal de l'MtoM.

OVHcloud, acteur mondial et leader européen du cloud, annonce retenir SambaNova, un leader des infrastructures IA de nouvelle génération, comme élément clé pour compléter son portefeuille de solutions d’inférence avec pour objectif l’inférence à très faible temps de latence.

Pour OVHcloud, les organisations travaillant sur les futures charges de travail IA sont confrontées à des contraintes croissantes. En effet, les appels LLM séquentiels créent des goulots d’étranglement qui alourdissent la latence, alors que les applications orientées utilisateur exigent des réponses quasi immédiates. Parallèlement, les pipelines opérationnels doivent pouvoir traiter des millions d’inférences tout en garantissant des niveaux de performance stricts, tant sur le délai avant le premier token (time to first token) que sur le temps de génération de chaque token (time per output token).

Le partenariat entre OVHcloud et SambaNova ouvre ainsi la voie à un large éventail de cas d’usage où chaque milliseconde compte. Dans des secteurs tels que le trading financier, la cybersécurité, l’automatisation industrielle, l’optimisation logistique, la supervision et bien d’autres encore, une inférence lente peut se traduire par des opportunités manquées, des zones d’ombre opérationnelles ou une expérience utilisateur dégradée.

Le service OVHcloud AI Endpoints optimisé par la plateforme SambaStack de SambaNova, permet au Groupe d’enrichir ses endpoints de capacités de niveau production, caractérisées par des performances exceptionnelles, une inférence rapide, une efficacité énergétique élevée ainsi qu’une disponibilité garantie par un SLA d’uptime de 99,8 %.

OVHcloud AI EndPoints optimisé par la plateforme d’IA de SambaNova

La plateforme d’inférence rapide de SambaNova propulsera le service OVHcloud AI EndPoints, lequel est conçu pour les charges de travail les plus exigeantes, nécessitant l’inférence la plus rapide, la plus fiable et à grande échelle. Avec cette nouvelle solution, OVHcloud entend proposer de nouveaux types d’endpoints, en temps réel avec des performances garanties, ainsi qu’une API batch capable de supporter un volume massif d’appels, lorsque le temps réel n’est pas requis. Pour les utilisateurs finaux, cela se traduit par des réponses délivrées dans les délais les plus courts, tant pour le premier octet que pour chaque premier token (output token).

Complétant son backbone actuel de GPU au cœur des sessions AI Endpoints, le nouveau nœud d’inférence SambaNova offre également aux clients une expérience ultra-rapide grâce à des processeurs ou unités de flux de données reconfigurables (RDUs), conçus spécialement pour l’IA. De plus, la technologie de SambaNova offre un haut débit de tokens par kilowatt/heures, et se montre idéale en termes d’efficacité, notamment grâce à une utilisation des ressources et une densité optimisées pour le datacenter.

Grâce à des vitesses d’inférence fulgurantes, AI EndPoints avec SambaNova s’appuie sur un grande nombre de modèles open-source parfaitement conçus pour exécuter les charges agentiques exigeantes et les cas d’usage à faible temps de latence comme les agents IA, la traduction en direct, l’utilisation d’agent à agent mais aussi les API de traitement par lot pour les cas asynchrones comme le crawling, la génération vector-db, le rafraichissement des jeux de données et les opérations massives par lot.

« Le choix de SambaNova est une décision pleinement assumée visant à offrir à nos clients une expérience d’inférence incomparable. » indique Octave Klaba, fondateur et Président Directeur Général d’OVHcloud. « Leur technologie fournit la puissance brute et l’efficacité nécessaires pour les charges de travail IA les plus intensives. Ce partenariat nous permet d’exécuter davantage de modèles dans un encombrement réduit, tout en offrant une inférence IA avec une meilleure utilisation des ressources. »

« La collaboration SambaNova et OVHcloud met en lumière notre rôle dans la définition d’un nouveau standard pour les performances IA et l’efficacité à l’échelle. » indique Rodrigo Liang, cofondateur et CEO de SambaNova. « Ensemble, nous donnons aux entreprises la capacité de déployer des modèles IA à grande échelle plus rapidement et de manière plus stable que jusqu’à présent. Ce partenariat ouvre les portes d’innovations révolutionnaires, aidant les clients à concrétiser les progrès de l’IA en résultats tangibles au quotidien ».

Le service AI Endpoints optimisé par SambaNova constitue une pierre angulaire de la stratégie d’OVHcloud visant à offrir une plateforme d’inférence exhaustive, de haute performance destinée aussi bien aux développeurs qu’aux entreprises recherchant les meilleures performances, la prise en charge et des fonctionnalités avancées pour leurs applications IA critiques.

Disponibilité

La solution d’inférence basée sur la technologie SambaNova sera disponible d’ici la fin de l’année depuis les premières régions françaises avec de futurs déploiements prévus en Europe. La facturation se fera selon le modèle de paiement à l’utilisation (pay-as-you-go) avec engagement.