Oossa

Valkey 9.2 incorpora caché compartida para inferencia de IA

El almacén de datos de código abierto añade una caché distribuida de clave-valor y cambios para reducir la memoria necesaria para las copias de seguridad, el tráfico de replicación y la sobrecarga de los conjuntos ordenados grandes.

BrevePor Publicado por Oossa: 1 min de lectura

Valkey anunció la disponibilidad general de la versión 9.2, junto con una caché distribuida de clave-valor de código abierto para inferencia de IA. Esta permite que los motores de inferencia reutilicen datos ya calculados de prompts y conversaciones en un conjunto de GPU; los equipos que usan modelos de pesos abiertos autogestionados pueden conectarla mediante LMCache con vLLM o SGLang.

Valkey afirma que la caché puede reducir los costos de inferencia hasta un 40% y el tiempo hasta el primer token hasta un 80%. La versión también incorpora instantáneas sin fork para evitar picos de memoria relacionados con las copias de seguridad, y compresión de la replicación que, según la empresa, reduce el tráfico aproximadamente entre un 50% y un 65%.

Por qué importa

Los equipos que ejecutan modelos de pesos abiertos en sus propios conjuntos de GPU pueden probar a reutilizar el trabajo de inferencia mediante LMCache, aunque los ahorros anunciados son estimaciones de la empresa, no una garantía para todas las cargas de trabajo.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.