De opensourcelibrary llama.cpp gebruikt nu vier GDN-statekolommen per CUDA-warp, wat de GPU-prestaties verbetert.
Kort berichtDoor OossaGepubliceerd door Oossa: 1 min lezen
Het team van ggml-org heeft versie b11494 van llama.cpp uitgebracht. De update past de CUDA-backend aan: die wijst voortaan vier GDN-statekolommen toe aan elke warp, in plaats van twee. Dit is nu de standaardinstelling. Er zijn binaries beschikbaar om te downloaden voor macOS (Apple Silicon en Intel), iOS en diverse Ubuntu-builds.
Ontwikkelaars die llama.cpp op NVIDIA-GPU's gebruiken, kunnen rekenen op snellere inferentie zonder hun code aan te passen.
Modellen
De nieuwe reviewer van het bedrijf, met drie op Claude gebaseerde agents, vond 73,43% van de fouten in hoofdclaims. Het vorige beste resultaat was 14,81%.
Modellen
Het nieuwe model van Mistral met één biljoen parameters scoort 38 op een onafhankelijke index, maar is per taak duurder dan concurrerende open modellen.
Modellen
OpenAI bracht twee beïnvloedingscampagnes aan het licht die met AI gemaakte inhoud gebruikten om valse verhalen in echte media te verspreiden, en blokkeerde de betrokken accounts.
Oossa · Nieuwsbrief
De AI-week, uitgelegd
Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.
