Un grupo de investigadores presentó Dory1.0-4B, un modelo de lenguaje de 4.000 millones de parámetros cuyo bloque compartido puede ejecutarse varias veces durante la inferencia. Así, un mismo punto de control puede usar distintas cantidades de cómputo, en lugar de necesitar un modelo más grande para cada presupuesto.
El artículo señala que usar dos o más ciclos superó, en promedio y en 12 pruebas de referencia, a varios modelos más grandes. Con cuatro ciclos, Dory generó entre 1,3 y 2,5 veces menos tokens en pruebas de referencia agénticas que con un ciclo. Los investigadores afirman que el tamaño de la caché KV del modelo se mantiene igual, independientemente del número de ciclos, y publicaron puntos de control en cuatro formatos.
Por qué importa
Para los desarrolladores que eligen un modelo abierto, Dory ofrece una forma de dedicar más cómputo a la inferencia sin aumentar el tamaño de la caché KV. Sin embargo, las mejoras de precisión comunicadas corresponden a las pruebas del artículo y no demuestran resultados en todas las aplicaciones.
