短信 · 1 分で読める
Swift 1.5、RTX 3090でベンチマークの処理時間を短縮
Redditユーザーによると、改変したSwift 1.5モデルはRTX 3090 1枚でのベンチマーク課題を、HyperQwenのベース構成より約37%速く完了した。一方、品質テストの結果には小さな差も見られた。
Oossa · Oossaについて
Redditユーザーは、HyperQwen向けに調整したSwift 1.5モデルのタスクあたりの平均処理時間が68.2秒だったと報告している。HyperQwenの高速量子化Qwenモデルでは108.1秒だった。テストはメモリ容量24GBのRTX 3090 1枚で、コンテキスト長を150,000トークンに設定して実施された。
投稿者によると、改変モデルはデコード速度がわずかに低かったものの、生成するトークン数が少なかったため、全体として高速だった。報告された複数のテストではスコアは近かったが、完全には一致しなかった。たとえば、INT4出力層を使ったSwift 1.5は、100問のコーディングテストで91%を記録し、HyperQwenの89%を上回った。
なぜ重要か
投稿者の結果がほかのテストでも再現されるなら、モデルの調整によって、コンシューマー向けハードウェアでローカルAIタスクに必要な時間とトークン数を減らせる可能性を示している。
この記事は役に立ちましたか?
出典と参考資料
| # | 出典 | 媒体 | 日付 | 要点 |
|---|---|---|---|---|
| 1 | Swift 1.5 + HyperQwen = 37% less task completion time at 100+ tps w/ 150k context on RTX 3090 ↗ | Reddit r/LocalLLaMA | 2026/09/28 | Hi everyone :) The amazing Swift finetunes of Qwen3.8 27B generate much fewer tokens at mostly similar benchmark performance to the original |
1 件の出典
最終更新:
Oossa · ニュースレター
今週のAIを、わかりやすく
毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。