MtoM Mag - Le journal de l'MtoM.
- accueil .
- newsletter .
Flux RSS . - soumissions .
- publicité .
- contacts
Flux RSS .
VMware et NVIDIA étendent leur partenariat stratégique pour préparer les centaines de milliers d’entreprises qui fonctionnent sur l’infrastructure cloud de VMware à l’ère de l’IA générative.
VMware Private AI Foundation avec NVIDIA permettra aux entreprises de personnaliser des modèles et d’exécuter des applications d’IA générative, notamment des chatbots intelligents, des assistants, des fonctions de recherche et de synthèse. La plateforme fournira une solution entièrement intégrée comprenant un logiciel d’IA générative et un calcul accéléré de NVIDIA, construite sur VMware Cloud Foundation et optimisée pour l’IA.
« L’IA générative et le multi-cloud représentent une combinaison parfaite », a déclaré Raghu Raghuram, PDG de VMware. « Les données clients sont partout : dans leurs centres de données, en périphérie et dans leurs cloud. En collaboration avec NVIDIA, nous permettrons aux entreprises d’exécuter leurs charges de travail d’IA générative à côté de leurs données en toute confiance tout en répondant à leurs préoccupations en matière de confidentialité, de sécurité et de contrôle des données d’entreprise. »
« Les entreprises du monde entier s’efforcent d’intégrer l’IA générative dans leurs activités », a déclaré Jensen Huang, fondateur et PDG de NVIDIA. « Notre collaboration élargie avec VMware offrira à des centaines de milliers de clients, dans les services financiers, les soins de santé, l’industrie manufacturière et bien plus encore, les logiciels et l’informatique dont ils ont besoin pour libérer le potentiel de l’IA générative à l’aide d’applications personnalisées créées à partir de leurs données ».
Pour réussir plus rapidement, les entreprises cherchent à rationaliser le développement, les tests et le déploiement d’applications d’IA générative. McKinsey estime que l’IA générative pourrait rapporter jusqu’à 4,400 milliards de dollars par an à l’économie mondiale.
VMware Private AI Foundation avec NVIDIA permettra aux entreprises d’exploiter cette fonctionnalité en personnalisant de grands modèles de langage (LLM) ; produire des modèles plus sécurisés et privés pour leur usage interne ; proposer l’IA générative en tant que service à leurs utilisateurs ; et exécuter de manière plus sécurisée des charges de travail d’inférence à grande échelle.
La plate-forme devrait inclure des outils d’IA intégrés pour permettre aux entreprises d’exécuter des modèles éprouvés formés sur leurs données privées de manière rentable. Basée sur les logiciels VMware Cloud Foundation et NVIDIA AI Enterprise, les avantages attendus de la plateforme incluront :
La confidentialité : pour permettre aux clients d’exécuter facilement des services d’IA à proximité de l’endroit où ils disposent de données, grâce à une architecture qui préserve leur confidentialité et permet un accès sécurisé.
Le choix : Les entreprises auront un large choix quant à l’endroit où construire et exécuter leurs modèles, de NVIDIA NeMo™ à Llama 2 et au-delà, y compris les principales configurations matérielles OEM et, à l’avenir, sur les offres de cloud public et de fournisseurs de services.
Les performances : L’exécution sur l’infrastructure accélérée NVIDIA offrira des performances égales, voire supérieures, au bare metal dans certains cas d’utilisation.
L’extensibilité du centre de données : les optimisations de mise à l’échelle des GPU dans les environnements virtualisés permettront aux charges de travail d’IA d’évoluer sur jusqu’à 16 vGPU/GPU dans une seule machine virtuelle et sur plusieurs nœuds pour accélérer le réglage et le déploiement du modèle d’IA génératif.
Un coût réduit : Maximisera l’utilisation de toutes les ressources de calcul sur les GPU, DPU et CPU pour réduire les coûts globaux et créer un environnement de ressources mutualisées qui peut être partagé efficacement entre les équipes.
Un stockage accéléré : L’architecture de stockage VMware vSAN Express offrira des performances de stockage NVMe optimisé et prend en charge le stockage GPUDirect® sur RDMA, permettant un transfert direct d’E/S du stockage vers les GPU sans implication du processeur.
Une mise en réseau accélérée : L’intégration approfondie entre vSphere et la technologie NVIDIA NVSwitch™ permettra aux modèles multi-GPU de s’exécuter sans goulots d’étranglement inter-GPU.
Un déploiement rapide et un délai de rentabilisation réduit : Les images et le référentiel d’images de machine virtuelle vSphere Deep Learning permettront des capacités de prototypage rapides en offrant une solution fiable et clé en main qui comprend des frameworks et bibliothèques optimisées pour les performances préinstallés.
La plate-forme comprendra NVIDIA NeMo, un framework cloud natif de bout en bout inclus dans NVIDIA AI Enterprise, le système d’exploitation de la plate-forme NVIDIA AI, qui permet aux entreprises de créer, personnaliser et déployer des modèles d’IA génératifs pratiquement n’importe où. NeMo combine des cadres de personnalisation, des boîtes à outils permettant d’évaluer les vulnérabilités, des outils de conservation de données et des modèles pré-entraînés pour offrir aux entreprises un moyen simple, rentable et rapide d’adopter l’IA générative.
Pour déployer l’IA générative en production, NeMo utilise TensorRT pour les grands modèles linguistiques (TRT-LLM), qui accélère et optimise les performances d’inférence sur les derniers LLM sur les GPU NVIDIA. Avec NeMo, VMware Private AI Foundation avec NVIDIA permettra aux entreprises d’extraire leurs propres données pour créer et exécuter des modèles d’IA génératifs personnalisés sur l’infrastructure cloud hybride de VMware.
Lors de VMware Explore 2023, NVIDIA et VMware présenteront comment les développeurs au sein des entreprises peuvent utiliser le nouveau NVIDIA AI Workbench pour extraire des modèles communautaires, comme Llama 2, disponible sur Hugging Face, les personnaliser à distance et déployer une IA générative de qualité dans les environnements VMware.
VMware Private AI Foundation avec NVIDIA sera pris en charge par Dell Technologies, Hewlett Packard Enterprise et Lenovo, qui seront parmi les premiers à proposer des systèmes qui dynamisent les charges de travail de personnalisation et d’inférence LLM d’entreprise avec les GPU NVIDIA L40S, les DPUs NVIDIA BlueField®-3 et les NVIDIA ConnectX®-7SmartNICs.
Le GPU NVIDIA L40S permet des performances d’inférence IA générative jusqu’à 1,2 fois supérieures et des performances d’entraînement jusqu’à 1,7 fois supérieures par rapport au GPU NVIDIA A100 Tensor Core.
Les DPU NVIDIA BlueField-3 accélèrent, déchargent et isolent l’énorme charge de calcul de la virtualisation, de la mise en réseau, du stockage, de la sécurité et d’autres services d’IA cloud natifs du GPU ou du CPU.
Les SmartNIC NVIDIA ConnectX-7 offrent une mise en réseau intelligente et accélérée pour l’infrastructure des centres de données afin de dynamiser certaines des charges de travail d’IA les plus exigeantes au monde.
VMware Private AI Foundation et NVIDIA s’appuient sur un partenariat de dix ans qui leur ont permis d’optimiser l’infrastructure cloud de VMware pour exécuter NVIDIA AI Enterprise avec des performances comparables au bare metal. Les clients des deux entreprises bénéficient en outre de la gestion des ressources et de l’infrastructure ainsi que de la flexibilité offerte par VMware Cloud Foundation.
VMware a l’intention de lancer VMware Private AI Foundation avec NVIDIA début 2024.
