Valkey anunció la disponibilidad general de la versión 9.2, junto con una caché distribuida de clave-valor de código abierto para inferencia de IA. Esta permite que los motores de inferencia reutilicen datos ya calculados de prompts y conversaciones en un conjunto de GPU; los equipos que usan modelos de pesos abiertos autogestionados pueden conectarla mediante LMCache con vLLM o SGLang.
Valkey afirma que la caché puede reducir los costos de inferencia hasta un 40% y el tiempo hasta el primer token hasta un 80%. La versión también incorpora instantáneas sin fork para evitar picos de memoria relacionados con las copias de seguridad, y compresión de la replicación que, según la empresa, reduce el tráfico aproximadamente entre un 50% y un 65%.
Por qué importa
Los equipos que ejecutan modelos de pesos abiertos en sus propios conjuntos de GPU pueden probar a reutilizar el trabajo de inferencia mediante LMCache, aunque los ahorros anunciados son estimaciones de la empresa, no una garantía para todas las cargas de trabajo.