خبر کوتاه · 1 دقیقه مطالعه
Swift 1.5 زمان انجام وظایف بنچمارک را روی RTX 3090 کاهش میدهد
یک کاربر Reddit میگوید نسخهای تغییریافته از مدل Swift 1.5، وظایف بنچمارک را روی یک RTX 3090 حدود ۳۷٪ سریعتر از پیکربندی پایه HyperQwen انجام داده است. نتایج در آزمونهای کیفیت تفاوتهای اندکی نشان میدهند.
Oossa · درباره Oossa
یک کاربر Reddit میگوید مدل Swift 1.5 که برای HyperQwen سازگار شده بود، بهطور میانگین هر وظیفه را در ۶۸٫۲ ثانیه انجام داد؛ این زمان برای مدل Qwen با کوانتیزهسازی سریع HyperQwen، ۱۰۸٫۱ ثانیه بود. آزمونها روی یک RTX 3090 با ۲۴GB حافظه و با زمینهای تنظیمشده روی ۱۵۰٬۰۰۰ توکن اجرا شدند.
بهگفته نویسنده پست، مدل تغییریافته در مجموع سریعتر بود، چون توکنهای کمتری تولید میکرد؛ هرچند سرعت رمزگشایی آن کمی پایینتر بود. امتیازها در چند آزمون گزارششده نزدیک، اما یکسان نبودند؛ برای نمونه، Swift 1.5 با لایههای خروجی INT4 در آزمون کدنویسی ۱۰۰ مسئلهای امتیاز ۹۱٪ گرفت، درحالیکه امتیاز HyperQwen برابر با ۸۹٪ بود.
چرا مهم است
اگر نتایج نویسنده پست در آزمونهای دیگر هم تأیید شوند، نشان میدهند تنظیم مدل میتواند زمان و تعداد توکنهای لازم برای اجرای وظایف هوش مصنوعی بهصورت محلی روی سختافزار مصرفی را کاهش دهد.
منابع و ارجاعها
| # | منبع | رسانه | تاریخ | نکته اصلی |
|---|---|---|---|---|
| 1 | Swift 1.5 + HyperQwen = 37% less task completion time at 100+ tps w/ 150k context on RTX 3090 ↗ | Reddit r/LocalLLaMA | ۶ مهر ۱۴۰۵ | Hi everyone :) The amazing Swift finetunes of Qwen3.8 27B generate much fewer tokens at mostly similar benchmark performance to the original |
1 منبع
آخرین بهروزرسانی:
Oossa · خبرنامه
هفتهٔ هوش مصنوعی، به زبان ساده
هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.