Oossa

llama.cpp b11818 stöder typat innehåll för omrankning

Uppdateringen låter servern ta emot typat innehåll vid omrankning och ger tydligare felmeddelanden för indata som inte stöds.

NotisAv Publicerad av Oossa: 1 min läsning

I versionen llama.cpp b11818 tillkommer stöd för typat innehåll i serverns endpoint för omrankning. Uppdateringen avvisar också omrankningsförfrågningar med multimodalt innehåll om modellen saknar en chattmall för omrankning, i stället för att tyst ignorera bilder. Ogiltiga medienedladdningar eller base64-data och negativa värden för `top_n` ger nu ett 400-fel i stället för ett serverfel.

I README-filen står det också att TEI-indata har samma format som Jina. Versionen innehåller byggen för flera operativsystem och hårdvarukonfigurationer, men källan anger inget releasedatum utöver publiceringstidpunkten.

Varför det spelar roll

Utvecklare som använder llama.cpp:s endpoint för omrankning kan skicka typat innehåll. Förfrågningar till modeller utan en chattmall för omrankning avvisas tydligt, i stället för att bilder tyst ignoreras.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.