Het team van ggml-org heeft llama.cpp b12052 uitgebracht, een nieuwe versie van de software waarmee taalmodellen kunnen worden uitgevoerd. De opvallendste wijziging is de toevoeging van ‘topk_mask’ aan OpenCL, een framework voor berekeningen op verschillende soorten hardware. Op de releasepagina staan ook builds voor macOS, iOS en diverse Linux-systemen.
Waarom het ertoe doet
Wie llama.cpp met OpenCL gebruikt, kan mogelijk top-k-maskering toepassen. De releasenotities vermelden echter niet voor welke modellen of taken dit voordelen oplevert.
