# Kleine offene Modelle treffen schnell Entscheidungen – trainiert auf lokaler Hardware

> Ein Reddit-Nutzer hat kleine Modelle mit offenen Gewichten veröffentlicht, die zwischen Optionen wählen und Wahrscheinlichkeiten ausgeben, ohne Text zu generieren. Für das 0.8B-Modell gibt der Nutzer eine Entscheidungszeit von 28 Millisekunden an; das 2B-Modell erreichte in einem Test mit fünf Benchmarks 83.1 Prozent.

Oossa · 2026-09-28 · https://oossa.com/de/small-open-models-make-fast-decisions-in-local-training-project

Die Modelle namens Jeff sind auf Qwen3.5 und Gemma basierende Fine-Tunes für Klassifizierungen und andere Auswahlaufgaben. Man gibt einem Modell eine Situation und eine Liste von Optionen, und es liefert in einem einzigen Durchlauf für jede Option eine Wahrscheinlichkeit zurück.

Der Entwickler sagt, er habe die Modelle auf lokaler Hardware trainiert und die Gewichte unter der Apache-2.0-Lizenz veröffentlicht. In einem Test mit fünf Benchmarks erzielte das 2B-Modell 83.1 Prozent und lag damit nahe an den veröffentlichten 83.0 Prozent von Jev. Da unterschiedliche Stichproben verwendet wurden, sind die Ergebnisse nicht direkt vergleichbar. Bei mehrstufigem Schlussfolgern schneidet Jeff dem Beitrag zufolge deutlich schlechter ab.

## Die Fakten

- Der Entwickler gibt an, das 0.8B-Modell auf einer einzelnen RTX PRO 6000 GPU in etwa zwei Stunden und das 2B-Modell in rund 3.5 Stunden trainiert zu haben.
- Das 0.8B-Modell traf einem Bericht zufolge auf einem M4 Max in etwa 28 Millisekunden eine Entscheidung.

## Warum es wichtig ist

Kleine Modelle, die schnell Optionen auswählen, könnten für Apps geeignet sein, bei denen hohe Geschwindigkeit und lokaler Betrieb wichtiger sind als komplexes Schlussfolgern.

## Quellen und Referenzen

1. [Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights)](https://www.reddit.com/r/LocalLLaMA/comments/1wspn24/trained_locally_ultrafast_08b2b_system_1_decision/) – Reddit r/LocalLLaMA, 2026-09-28

Zuletzt aktualisiert: 2026-09-28