Oossa

Valkey 9.2 ajoute un cache partagé pour l’inférence IA

Le magasin de données open source ajoute un cache distribué de paires clé-valeur et des optimisations destinées à réduire la mémoire nécessaire aux sauvegardes, le trafic de réplication et le coût des grands ensembles triés.

BrèvePar Publié par Oossa: 1 min de lecture

Valkey a annoncé la disponibilité générale de la version 9.2, ainsi qu’un cache distribué open source de paires clé-valeur pour l’inférence IA. Celui-ci permet aux moteurs d’inférence de réutiliser les données calculées des prompts et des conversations sur l’ensemble d’un parc de GPU. Les équipes qui utilisent des modèles open-weight autogérés peuvent le connecter via LMCache à vLLM ou SGLang.

Selon Valkey, ce cache peut réduire les coûts d’inférence jusqu’à 40 % et le délai avant le premier jeton jusqu’à 80 %. Cette version ajoute également des instantanés sans fork pour éviter les pics de mémoire liés aux sauvegardes, ainsi que la compression de la réplication, qui réduit le trafic d’environ 50 % à 65 %, selon l’entreprise.

Pourquoi c'est important

Les équipes qui exécutent des modèles open-weight sur leurs propres parcs de GPU peuvent essayer de réutiliser les calculs d’inférence via LMCache. Les économies annoncées restent toutefois des estimations de l’entreprise et ne sont pas garanties pour toutes les charges de travail.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.