Google a annoncé cette semaine deux nouveaux systèmes d’accélération de l’IA. Le TPU 8tx est conçu pour les entreprises et les organismes publics qui doivent garder les données chiffrées pendant leur traitement. Le TPU 8i Max réunit deux puces TPU 8i de huitième génération dans un même boîtier, afin de doubler la puissance de calcul, la mémoire et la bande passante dans le même rack. Les deux variantes reposent sur le même silicium que les TPU de huitième génération déjà proposés par Google, mais leur format, leur réseau et leur configuration mémoire diffèrent. Google affirme que cette approche modulaire lui permet de lancer de nouveaux équipements en quelques mois plutôt qu’en plusieurs années.
Le TPU 8tx comble une faille de sécurité : les données et les poids des modèles restent chiffrés même pendant leur utilisation. Google le compare aux fonctionnalités de calcul confidentiel proposées par Nvidia pour ses GPU. Le système fonctionne sur le réseau Boardfly à faible latence de Google et promet une réduction de latence pouvant atteindre le double de celle du précédent TPU 8t. Selon Google, un seul système 8tx peut affiner des modèles, distiller de grands modèles et entraîner des agents d’apprentissage par renforcement sans transférer de données sensibles entre les clusters.
Le TPU 8i Max s’attaque au goulot d’étranglement lié à la mémoire, qui survient lorsque des agents d’IA traitent de vastes bases de code ou des heures de vidéo. En réunissant deux puces TPU 8i, le nouveau système double la capacité mémoire et la bande passante, et offre environ deux fois plus de puissance de calcul dans le même espace de rack. Google affirme que cela se traduit par de meilleures performances au mètre carré dans les centres de données.
Au-delà du matériel, Google facilite l’adoption de ses TPU. L’entreprise a publié TorchTPU en open source pour permettre l’exécution de code PyTorch sur ses TPU avec un minimum de modifications, et a ajouté la prise en charge de frameworks d’inférence populaires comme vLLM et SGLang. Google compte désormais près de 100 clients externes qui utilisent ses TPU, après avoir auparavant réservé leur usage à ses activités internes.
Pourquoi ces nouveaux TPU sont importants
Les entreprises qui traitent des données confidentielles peuvent désormais exécuter des tâches d’IA sans déchiffrer les informations, ce qui réduit le risque de fuite. Les développeurs qui travaillent sur des tâches d’inférence à grande échelle, comme l’analyse vidéo ou la recherche dans des bases de code, disposent de davantage de mémoire et de vitesse sans agrandir leur centre de données.
Pourquoi c'est important
Les entreprises qui doivent protéger des données sensibles peuvent exécuter des modèles d’IA sans exposer les informations brutes, ce qui réduit les contraintes de sécurité. Les équipes qui effectuent de lourdes tâches d’inférence bénéficient de meilleures performances par rack, ce qui peut réduire les coûts matériels et les besoins en espace.
