Kurzmeldung · 1 Min. Lesezeit
Swift 1.5 verkürzt Benchmark-Aufgaben auf einer RTX 3090
Ein Reddit-Nutzer berichtet, dass ein angepasstes Swift-1.5-Modell Benchmark-Aufgaben auf einer einzelnen RTX 3090 rund 37 % schneller erledigte als HyperQwens Basis-Setup. Bei den Qualitätstests gab es leichte Unterschiede.
Oossa · Über Oossa
Ein Reddit-Nutzer zufolge benötigte ein für HyperQwen angepasstes Swift-1.5-Modell im Schnitt 68,2 Sekunden pro Aufgabe. HyperQwens schnell quantisiertes Qwen-Modell brauchte dafür 108,1 Sekunden. Die Tests liefen mit einer einzelnen RTX 3090 mit 24 GB Speicher und einem konfigurierten Kontext von 150.000 Tokens.
Der Verfasser des Beitrags erklärt den insgesamt höheren Durchsatz des angepassten Modells damit, dass es weniger Tokens erzeugte – obwohl seine Dekodierungsgeschwindigkeit leicht niedriger war. Bei mehreren veröffentlichten Tests lagen die Ergebnisse nahe beieinander, waren aber nicht identisch: Swift 1.5 mit INT4-Ausgabeschichten erzielte etwa bei einem Codiertest mit 100 Aufgaben 91 %, HyperQwen kam auf 89 %.
Warum es wichtig ist
Sollten sich die Ergebnisse des Verfassers in weiteren Tests bestätigen, legen sie nahe, dass sich durch Modell-Tuning die Bearbeitungszeit und der Tokenverbrauch bei lokalen KI-Aufgaben auf Consumer-Hardware senken lassen.
Quellen und Referenzen
| # | Quelle | Medium | Datum | Kernaussage |
|---|---|---|---|---|
| 1 | Swift 1.5 + HyperQwen = 37% less task completion time at 100+ tps w/ 150k context on RTX 3090 ↗ | Reddit r/LocalLLaMA | 28.09.2026 | Hi everyone :) The amazing Swift finetunes of Qwen3.8 27B generate much fewer tokens at mostly similar benchmark performance to the original |
1 Quellen
Zuletzt aktualisiert:
Oossa · Newsletter
Die KI-Woche, erklärt
Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.