Kurzmeldung · 1 Min. Lesezeit
Kleine offene Modelle treffen schnell Entscheidungen – trainiert auf lokaler Hardware
Ein Reddit-Nutzer hat kleine Modelle mit offenen Gewichten veröffentlicht, die zwischen Optionen wählen und Wahrscheinlichkeiten ausgeben, ohne Text zu generieren. Für das 0.8B-Modell gibt der Nutzer eine Entscheidungszeit von 28 Millisekunden an; das 2B-Modell erreichte in einem Test mit fünf Benchmarks 83.1 Prozent.
Oossa · Über Oossa
Die Modelle namens Jeff sind auf Qwen3.5 und Gemma basierende Fine-Tunes für Klassifizierungen und andere Auswahlaufgaben. Man gibt einem Modell eine Situation und eine Liste von Optionen, und es liefert in einem einzigen Durchlauf für jede Option eine Wahrscheinlichkeit zurück.
Der Entwickler sagt, er habe die Modelle auf lokaler Hardware trainiert und die Gewichte unter der Apache-2.0-Lizenz veröffentlicht. In einem Test mit fünf Benchmarks erzielte das 2B-Modell 83.1 Prozent und lag damit nahe an den veröffentlichten 83.0 Prozent von Jev. Da unterschiedliche Stichproben verwendet wurden, sind die Ergebnisse nicht direkt vergleichbar. Bei mehrstufigem Schlussfolgern schneidet Jeff dem Beitrag zufolge deutlich schlechter ab.
Warum es wichtig ist
Kleine Modelle, die schnell Optionen auswählen, könnten für Apps geeignet sein, bei denen hohe Geschwindigkeit und lokaler Betrieb wichtiger sind als komplexes Schlussfolgern.
Quellen und Referenzen
| # | Quelle | Medium | Datum | Kernaussage |
|---|---|---|---|---|
| 1 | Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights) ↗ | Reddit r/LocalLLaMA | 28.09.2026 | TL;DR: The Jeff models are a set of Qwen3.5 and Gemma fine-tunes for zero-shot classification: small, efficient, open-weight models with res |
1 Quellen
Zuletzt aktualisiert:
Oossa · Newsletter
Die KI-Woche, erklärt
Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.