MtoM Mag - Le journal de l'MtoM.

Neural Magic apporte son expertise dans les domaines de l’ingénierie des performances de l’IA générative, des algorithmes d’optimisation de modèles à la pointe de la technologie et du déploiement d’inférence des processeurs GPU et CPU hautes performances.

Red Hat, Inc, premier éditeur mondial de solutions open source, annonce la signature d’un accord définitif portant sur l’acquisition de Neural Magic, entreprise pionnière de logiciels et d’algorithmes conçus pour accélérer les charges d’inférence d’IA générative (Gen AI). L’expertise en ingénierie des performances des inférences et l’engagement de Neural Magic en faveur du modèle open source sont complètement alignés avec la vision de Red Hat : fournir des workloads d’IA très performantes qui sont directement en phase avec les cas d’utilisation et les données propres aux clients, d’un bout à l’autre des environnements de cloud hybrides.

À l’heure où les promesses de l’IA générative dominent largement le paysage technologique, la taille des grands modèles de langage (LLM) sur lesquels reposent ces systèmes ne cesse d’augmenter. En conséquence, la création de services LLM à la fois fiables et rentables requiert une puissance de calcul, des ressources énergétiques et des compétences opérationnelles spécialisées considérables, autant de défis qui empêchent la plupart des entreprises de bénéficier des atouts d’une IA personnalisée, prête à l’emploi et davantage centrée sur la sécurité.

Red Hat entend relever ces défis en permettant à un plus grand nombre d’entreprises d’accéder aux avantages de l’IA générative grâce à l’innovation ouverte et aux bibliothèques vLLM (virtual Large Language Model). Développé par l’université de Berkeley (Californie), le référentiel vLLM est un projet mené par la communauté open source en faveur du déploiement (serving) de modèles ouverts (comment les modèles d’IA générique infèrent et résolvent les problèmes), avec prise en charge de toutes les familles de modèles clés, de la recherche avancée de l’accélération des inférences et de divers outils matériels, tels que les processeurs graphiques (GPU) d’AMD, le kit de développement logiciel (SDK) AWS Neuron, les accélérateurs Google TPU et Intel Gaudi, les processeurs graphiques signés NVIDIA et les processeurs de la famille x86. Combiné au solide portefeuille de technologies d’IA de Red Hat pour les environnements de cloud hybrides, le leadership de Neural Magic dans le développement du projet vLLM ouvrira aux entreprises une nouvelle voie pour élaborer des stratégies d’IA correspondant à leurs besoins spécifiques, indépendamment de l’endroit où résident leurs données.

Red Hat + Neural Magic : pour une IA générative adaptée aux environnements de cloud hybrides

Neural Magic a été créée par le MIT en 2018 dans l’optique de créer des logiciels d’inférence performants destinés au deep learning. Grâce à l’expertise de Neural Magic dans la technologie et l’ingénierie des performances, Red Hat entend accélérer sa vision d’avenir pour l’IA en s’appuyant sur le portefeuille technologique Red Hat AI. Soucieux de relever les défis de l’IA d’entreprise à grande échelle, Red Hat s’appuie sur l’innovation open source pour démocratiser l’accès à la puissance transformatrice de l’intelligence artificielle grâce à :

 Des modèles sous licence open source (échelle de paramètres de 1B à 405B) capables de fonctionner en tous points des environnements de cloud hybrides, dans les datacenters d’entreprise, en environnements multiclouds et en périphérie du réseau.

 Des capacités d’ajustage qui permettent aux entreprises de personnaliser leurs modèles LLM avec une facilité accrue par rapport à leurs données privées et à leurs cas d’usage avec un plus haut niveau de sécurité ;

 Une expertise en ingénierie des performances des inférences avec à la clé une plus grande efficacité opérationnelle et infrastructurelle ; et

 Un écosystème open source et de partenaires, ainsi que des structures d’assistance qui permettent d’élargir le choix offert aux clients, des grands modèles de langage aux outils, aux serveurs homologués et aux architectures microélectroniques sous-jacentes.

Bibiothèques vLLM, un leadership technologique pour améliorer l’IA de Red Hat

Neural Magic s’appuie sur son expertise et ses connaissances de la bibliothèque vLLM pour créer une pile d’inférences de niveau entreprise grâce à laquelle ses clients peuvent optimiser, déployer et mettre à l’échelle leurs charges de travail LLM d’un bout à l’autre de leurs environnements de cloud hybrides, avec un contrôle total sur le choix de l’infrastructure, des règles de sécurité et du cycle de vie des modèles. Par ailleurs, Neural Magic mène des recherches concernant l’optimisation des modèles, développe le LLM Compressor (une bibliothèque unifiée d’optimisation des LLM qui comporte des algorithmes de quantification et de parcimonie), et maintient un référentiel de modèles pré-optimisés et prêts à être déployés avec le référentiel vLLM.

L’IA de Red Hat a pour vocation d’aider les utilisateurs à réduire le coût de l’IA et à éliminer les barrières de compétences grâce à des technologies puissantes :

 Red Hat Enterprise Linux AI (RHEL AI), une plateforme de modèles de fondation conçue pour développer, tester et exécuter les modèles LLM open source de la famille IBM Granite avec une plus grande transparence pour les applications d’entreprise déployées sur des serveurs Linux ;

 Red Hat OpenShift AI, une plateforme d’IA dont les outils permettent de développer, d’entraîner, de déployer et de surveiller rapidement des modèles d’apprentissage automatique dans des environnements Kubernetes distribués que ce soit sur site, dans un environnement de cloud public ou en périphérie du réseau ; et

 InstructLab, un projet communautaire d’IA open source facilement accessible créé par Red Hat et IBM pour permettre à tout utilisateur de façonner l’avenir de l’IA générative en améliorant de façon collaborative les modèles LLM Granite sous licence open source à l’aide de la technologie d’ajustage d’InstructLab.

Le leadership de Neural Magic dans la technologie vLLM permettra à l’IA de Red Hat de mieux gérer les déploiements de modèles LLM d’un bout à l’autre des environnements de cloud hybrides avec une pile d’inférences ouverte, prête à l’emploi et hautement optimisée.

La transaction est sujette aux réserves réglementaires applicables et aux conditions de clôture habituelles.

Citations à l’appui

Matt Hicks, président et CEO, Red Hat : « Les workloads d’IA doivent être exécutées partout où résident les données des clients dans le cloud hybride ; à ce titre, la disponibilité de plateformes et d’outils flexibles, standardisés et ouverts constitue une nécessité, car ils permettent aux entreprises de sélectionner les environnements, les ressources et les architectures qui répondent de façon optimale à leurs besoins spécifiques, tant sur le plan opérationnel que des données. Nous nous réjouissons de compléter notre portefeuille d’IA centré sur le cloud hybride avec les capacités d’innovation révolutionnaires de Neural Magic en matière d’IA, qui nous permet de poursuivre la réalisation de notre objectif : celui de devenir non seulement le « Red Hat » de l’open source, mais également le « Red Hat » de l’IA. »

Brian Stevens, PDG, Neural Magic : « L’approche open source a démontré à de nombreuses reprises qu’elle permettait d’accélérer l’innovation grâce à la puissance collaborative de sa communauté. Chez Neural Magic, nous avons réuni certains des meilleurs talents dans le domaine de l’ingénierie des performances de l’IA avec une mission unique : créer des capacités de déploiement LLM à la fois ouvertes, multiplateformes et ultra-efficaces. Rejoindre Red Hat constitue la réalisation d’une véritable compatibilité culturelle, dont bénéficieront les entreprises de toutes tailles à toutes les étapes de leur parcours de transformation de l’IA. »

Dario Gil, vice-président senior et directeur de la recherche d’IBM : « À l’heure où nos clients cherchent à déployer l’IA à grande échelle dans leurs environnements hybrides, les modèles LLM virtuels natifs du cloud construits sur des fondations ouvertes vont devenir la référence du secteur. Le leadership de Red Hat dans les logiciels open source, combiné au choix de modèles open source efficaces comme IBM Granite, et les offres de Neural Magic pour la mise à l’échelle de l’IA d’un bout à l’autre des plateformes apportent aux entreprises la maîtrise et la flexibilité dont elles ont besoin pour déployer l’IA à tous les niveaux de leur infrastructure. »

https://www.redhat.com/