De release van llama.cpp b11818 voegt ondersteuning toe voor getypeerde inhoud als invoer voor het rerank-endpoint van de server. De update weigert ook multimodale rerankverzoeken als het model geen rerank-chattemplate heeft, in plaats van afbeeldingen stilzwijgend te negeren. Bij ongeldige mediadownloads of base64-gegevens en bij negatieve waarden voor `top_n` wordt nu een 400-fout gegeven in plaats van een serverfout.
Volgens de README heeft de TEI-invoer dezelfde vorm als die van Jina. De release bevat builds voor verschillende besturingssystemen en hardwareconfiguraties; in de bron staat geen releasedatum, afgezien van de publicatietijdstempel.
Waarom het ertoe doet
Ontwikkelaars die het rerank-endpoint van llama.cpp gebruiken, kunnen getypeerde inhoud versturen. Verzoeken met modellen zonder rerank-chattemplate worden expliciet geweigerd, in plaats van dat afbeeldingen stilzwijgend worden genegeerd.
