IBM et ses partenaires ont annoncé la version 1.0 du framework open source llm‑d le 20 octobre 2026, à la PyTorch Conference. Cette mise à jour ajoute des contrôles de qualité de service, des mises à niveau sans interruption et un routage du cache plus efficace, afin que les entreprises puissent exécuter de grands modèles de langage sur leurs propres clusters Kubernetes sans surcharger le service. IBM a indiqué qu’une démonstration avait fait tourner 3 000 agents de programmation sur du matériel hébergé en interne, à un coût de cinq à dix fois inférieur à celui d’un modèle hébergé. Le framework est compatible avec des moteurs d’inférence comme vLLM et SGLang.
Pourquoi c'est important
Les entreprises peuvent garder leurs charges de travail d’IA en interne, réduire leurs coûts liés au cloud et éviter de dépendre d’un seul fournisseur.
