Oossa

llama.cpp b11818 añade entrada tipada para reranking

La versión permite al servidor aceptar contenido tipado en el endpoint de reranking y devuelve errores más claros para las entradas no compatibles.

BrevePor Publicado por Oossa: 1 min de lectura

La versión b11818 de llama.cpp añade compatibilidad con la entrada de contenido tipado en el endpoint de reranking del servidor. La actualización también rechaza las solicitudes de reranking multimodal cuando el modelo no tiene una plantilla de chat para reranking, en lugar de descartar imágenes sin avisar. Las descargas de medios no válidas, los datos base64 incorrectos y los valores negativos de `top_n` ahora generan un error 400 en vez de un error del servidor.

El README también indica que la entrada de TEI acepta el mismo formato que Jina. La versión incluye compilaciones para varios sistemas operativos y configuraciones de hardware; la fuente no especifica una fecha de lanzamiento, más allá de la fecha de publicación.

Por qué importa

Los desarrolladores que usan el endpoint de reranking de llama.cpp pueden enviar contenido tipado. Además, quienes hagan solicitudes con modelos que no tengan una plantilla de chat para reranking recibirán un rechazo explícito, en lugar de que las imágenes se ignoren sin aviso.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.