Oossa

گزارش Metis-1.6 از دو مدل زبانی کوچک و ضعف‌هایشان می‌گوید

به‌گفتهٔ پژوهشگر، Giulianno Vollmer، مدل Logos از Metis-1.6 در بنچمارک‌های ریاضی امتیاز خوبی گرفت، اما در کدنویسی، پیروی از دستورها و پردازش متن‌های بلند ضعیف عمل کرد.

خبر کوتاهنویسنده: منتشرشده توسط Oossa: 1 دقیقه مطالعه

گزارش فنی Metis-1.6 به قلم Giulianno Vollmer دو مدل زبانی را شرح می‌دهد که از ابتدا ساخته شده‌اند: Praxis با 2.94 میلیارد پارامتر و Logos با 10.23 میلیارد پارامتر. در این گزارش آمده است که Logos در میان 17 مدل و بر پایهٔ 40 بنچمارک رتبهٔ هفتم را کسب کرد و در ریاضیات، میان 30 مدل دوم شد؛ همچنین به ضعف‌های آن در کدنویسی، پیروی از دستورها و کار با متن‌های طولانی اشاره شده است.

Vollmer چند مشکل در فرایند آموزش را شرح می‌دهد؛ از جمله بهینه‌سازی که هرگز اجرا نشد و باگی در پاداش طول پاسخ که می‌توانست پاسخ‌های درست و طولانی را جریمه کند. طبق گزارش، Logos با 1.02 تریلیون توکن آموزش دید و قرار نبود با مدل‌های پیشرو رقابت کند.

چرا مهم است

این گزارش برای توسعه‌دهندگانی که مدل‌های کوچک‌تر را بررسی می‌کنند، نتایج بنچمارک و درس‌های مشخصی از فرایند آموزش ارائه می‌دهد؛ اما یافته‌های خود گزارش نشان می‌دهد Logos در کدنویسی و کار با متن‌های طولانی ضعیف است. در اینجا اعتبارسنجی مستقل مستند نشده است.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.