Il progetto open source llama.cpp ha pubblicato una nuova versione che aggiunge il supporto a classifier_pooling, un’impostazione usata dai reranker ModernBERT. La modifica consente alla libreria di leggere e scrivere il tipo di pooling, impostando mean come valore predefinito se non viene specificato. Rinomina inoltre il campo interno in pooling_type_cls. L’aggiornamento è disponibile per un’ampia gamma di sistemi operativi e hardware, dai Mac con Apple Silicon alle GPU Linux e ai dispositivi Android.
Perché conta
Rende llama.cpp più adatto alle attività di ricerca e ranking su numerosi dispositivi.
