Das Open-Source-Projekt llama.cpp hat eine neue Version veröffentlicht, die classifier_pooling unterstützt – eine Einstellung für ModernBERT-Reranker. Dank der Änderung kann die Bibliothek den Pooling-Typ lesen und schreiben; ist keiner angegeben, wird standardmäßig mean verwendet. Außerdem wurde das interne Feld in pooling_type_cls umbenannt. Das Update ist für zahlreiche Betriebssysteme und Geräte verfügbar – von Macs mit Apple Silicon über Linux-GPUs bis hin zu Android-Geräten.
Warum es wichtig ist
Dadurch eignet sich llama.cpp besser für Such- und Ranking-Aufgaben auf einer Vielzahl von Geräten.
