Het opensourceproject llama.cpp heeft een nieuwe versie uitgebracht met ondersteuning voor classifier_pooling, een instelling die ModernBERT-rerankers gebruiken. Dankzij deze wijziging kan de bibliotheek het poolingtype lezen en schrijven. Als er geen type is opgegeven, wordt standaard mean gebruikt. Ook is de interne veldnaam gewijzigd in pooling_type_cls. De update is beschikbaar voor uiteenlopende besturingssystemen en hardware, van Macs met Apple Silicon tot Linux-gpu’s en Android-apparaten.
Waarom het ertoe doet
Hierdoor is llama.cpp beter inzetbaar voor zoek- en rankingtaken op uiteenlopende apparaten.
