Die Open-Source-Inferenzbibliothek Llama erhält mit b11555 ein Update: AVX2-CPUs nutzen nun auch F16C, sofern verfügbar. Außerdem gibt es neue Builds für macOS, iOS und Linux.
KurzmeldungVon OossaVon Oossa veröffentlicht: 1 Min. Lesezeit
ggml-org hat llama.cpp in Version b11555 veröffentlicht. Das Update behebt einen Fehler, durch den AVX2-CPUs den Befehlssatz F16C nicht nutzten, obwohl er verfügbar war. Außerdem gibt es neue Binärpakete für macOS mit Apple Silicon, macOS mit Intel, iOS und mehrere Ubuntu-Konfigurationen, darunter mit Vulkan- und CUDA-12.8-Unterstützung.
Entwickler, die Llama-Modelle auf kompatiblen CPUs ausführen, profitieren von schnellerer Inferenz – ohne manuelle Patches.
Modelle
Eine Studie von Vals AI zeigt: Teams aus mehreren Agenten verbrauchen bis zu fünfmal so viele Tokens wie ein einzelnes Modell – bei nur minimalen Qualitätsgewinnen.
Modelle
Der Bund plant vorerst keine Beschaffung bei Mistral. SAP und Mistral wollen ihre Zusammenarbeit nach eigenen Angaben fortsetzen.
Modelle
Odysseys Modell Odyssey‑3 erstellt und steuert jetzt 3D-Welten auf Basis von Texteingaben. Eine kostenlose Online-Demo ist verfügbar, Entwickler können API-Zugang beantragen.
Oossa · Newsletter
Die KI-Woche, erklärt
Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.
