Oossa

RL-Feintuning macht Qwen3.8‑27B im ThinkingBox-Test zuverlässiger

Nach 50 Schritten mit relativ zu einer Offline-Policy durchgeführtem Training stieg die Zahl der Aufgaben, die Qwen3.8‑27B stets korrekt löste, im ThinkingBox‑Bench mit 507 Aufgaben von 38 auf 107.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Microsoft und Hugging Face haben den Code für ThinkingBox‑Training auf GitHub veröffentlicht. Sie nutzten eine aus Datenbankzustandsprüfungen abgeleitete Belohnung, um das Modell Qwen3.8‑27B zu optimieren. Nach 50 GRPO-Schritten stieg die pass@1-Rate des Modells von 51.70% auf 60.78%. Die Zahl der Aufgaben, die es bei allen 20 Versuchen richtig löste, wuchs von 38 (7.5%) auf 107 (21.1%). Gleichzeitig ging die Abdeckung der Aufgaben, die es mindestens einmal korrekt löste, leicht zurück.

Warum es wichtig ist

Für Unternehmen, die zuverlässige Datenbankaktualisierungen benötigen, ist es mit dem feinabgestimmten Modell etwa dreimal so wahrscheinlich, eine Aufgabe jedes Mal korrekt zu lösen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.