Die Open-Source-Bibliothek llama.cpp (v b11556) kann das Modell Prism Bonsai 2 mit 27 Milliarden Parametern jetzt unter macOS und Linux ausführen.
KurzmeldungVon OossaVon Oossa veröffentlicht: 1 Min. Lesezeit
ggml-org hat llama.cpp in Version b11556 veröffentlicht. Das Update bietet Laufzeitunterstützung für das Modell Prism Bonsai 2 27B. Außerdem behebt es Probleme bei der Verarbeitung von Hadamard-Tensoren und räumt den Konvertierungscode auf. Vorgefertigte Binärdateien gibt es für macOS (Apple Silicon und Intel) sowie Ubuntu (x64, arm64, s390x).
Entwickler können das große Modell Prism Bonsai 2 mit 27 Milliarden Parametern nun lokal auf ihren eigenen Rechnern ausführen.
Modelle
Eine Studie von Vals AI zeigt: Teams aus mehreren Agenten verbrauchen bis zu fünfmal so viele Tokens wie ein einzelnes Modell – bei nur minimalen Qualitätsgewinnen.
Modelle
Der Bund plant vorerst keine Beschaffung bei Mistral. SAP und Mistral wollen ihre Zusammenarbeit nach eigenen Angaben fortsetzen.
Modelle
Odysseys Modell Odyssey‑3 erstellt und steuert jetzt 3D-Welten auf Basis von Texteingaben. Eine kostenlose Online-Demo ist verfügbar, Entwickler können API-Zugang beantragen.
Oossa · Newsletter
Die KI-Woche, erklärt
Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.
