Nutanix mise sur un seul GPU pour personnaliser les petits modèles

Nutanix Enterprise AI 2.8 permet d’ajuster des modèles ouverts de moins de huit milliards de paramètres avec un seul GPU. La mise à jour ajoute aussi plusieurs options pour accélérer l’inférence et déployer des modèles dans des environnements privés.

Personnaliser un modèle et le faire fonctionner mobilisent des ressources à des étapes différentes du projet. Avec NAI 2.8, désormais disponible, Nutanix enrichit ces deux volets : l’ajustement aux données privées et l’exécution des modèles en production.

Un périmètre précis pour la personnalisation

L’ajustement fin permet de personnaliser un modèle existant à partir de données privées. Nutanix annonce que cette opération peut s’appuyer sur une infrastructure équipée d’un seul GPU pour les modèles ouverts de moins de huit milliards de paramètres. Cette capacité donne aux équipes IA une nouvelle option de dimensionnement pour adapter ces modèles à leurs usages. Pour l’inférence, la plateforme prend en charge plusieurs GPU au moyen du parallélisme de tenseurs, ainsi que le traitement par lots. Ces options complètent la capacité de personnalisation sur un seul GPU, avec des ressources adaptées à la phase d’exécution des modèles.

Accélérer la génération et suivre les usages

Nutanix Private Inference ajoute le décodage spéculatif, qui peut accélérer la génération de tokens jusqu’à 2,5 fois selon l’éditeur. Cette amélioration annoncée concerne la vitesse de génération des réponses. Le déploiement peut aussi répondre à des contraintes d’isolement. NAI prend en charge NVIDIA NIM dans des environnements isolés du réseau, tandis que son interface unifiée réunit le suivi de la consommation de tokens et les fonctions d’observabilité.