Die Open-Source-Bibliothek llama.cpp nutzt jetzt vier GDN-State-Spalten pro CUDA-Warp und verbessert damit die GPU-Leistung.
KurzmeldungVon OossaVon Oossa veröffentlicht: 1 Min. Lesezeit
Das ggml-org-Team hat llama.cpp in Version b11494 veröffentlicht. Das Update ändert das CUDA-Backend: Es weist jedem Warp nun vier statt zwei GDN-State-Spalten zu. Diese Einstellung ist jetzt der Standard. Binaries für macOS (Apple Silicon und Intel), iOS und verschiedene Ubuntu-Versionen stehen zum Download bereit.
Entwickler, die llama.cpp auf NVIDIA-GPUs nutzen, können mit schnellerer Inferenz rechnen, ohne ihren Code ändern zu müssen.
Modelle
Der neue Prüfer des Unternehmens mit drei Claude-basierten Agenten fand 73,43 % der Fehler in zentralen Behauptungen – deutlich mehr als der bisherige Spitzenwert von 14,81 %.
Modelle
Mistrals neues Modell mit einer Billion Parametern erreicht in einem unabhängigen Index 38 Punkte, kostet pro Aufgabe aber mehr als konkurrierende offene Modelle.
Modelle
OpenAI meldet zwei Einflusskampagnen, die mit KI erstellte Inhalte nutzten, um Falschmeldungen in echten Medien zu platzieren. Die beteiligten Konten wurden gesperrt.
Oossa · Newsletter
Die KI-Woche, erklärt
Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.
