Valkey a annoncé la disponibilité générale de la version 9.2, ainsi qu’un cache distribué open source de paires clé-valeur pour l’inférence IA. Celui-ci permet aux moteurs d’inférence de réutiliser les données calculées des prompts et des conversations sur l’ensemble d’un parc de GPU. Les équipes qui utilisent des modèles open-weight autogérés peuvent le connecter via LMCache à vLLM ou SGLang.
Selon Valkey, ce cache peut réduire les coûts d’inférence jusqu’à 40 % et le délai avant le premier jeton jusqu’à 80 %. Cette version ajoute également des instantanés sans fork pour éviter les pics de mémoire liés aux sauvegardes, ainsi que la compression de la réplication, qui réduit le trafic d’environ 50 % à 65 %, selon l’entreprise.
Pourquoi c'est important
Les équipes qui exécutent des modèles open-weight sur leurs propres parcs de GPU peuvent essayer de réutiliser les calculs d’inférence via LMCache. Les économies annoncées restent toutefois des estimations de l’entreprise et ne sont pas garanties pour toutes les charges de travail.