webAI مدل استدلالی TwIL-8B را منتشر کرده است؛ مدلی با 8.8 میلیارد پارامتر که با آموزش تکمیلی بر پایه IBM Granite 4.2 8B ساخته شده است. MarkTechPost گزارش می‌دهد که این مدل در MATH-500 امتیاز 98.2 و در LiveCodeBench امتیاز 81.6 گرفته است. این رسانه همچنین می‌گوید TwIL-8B در آزمون‌های سنجش دانش، از مدل‌هایی با اندازه مشابه عقب‌تر است.
این اعداد نشان می‌دهند که نقاط قوت گزارش‌شده مدل بیشتر در کارهای ریاضی و کدنویسی است، نه در همه انواع ارزیابی. بااین‌حال، این ارقام به‌تنهایی نشان نمی‌دهند TwIL-8B در حل مسائل شخصی هر کاربر چگونه عمل می‌کند یا نتایجش در شرایط آزمون یکسان با مدل‌های رقیب مشخص چه تفاوتی دارد.
این امتیازها چه چیزی نشان می‌دهند؟
MATH-500 معیاری برای سنجش توانایی ریاضی است و LiveCodeBench عملکرد در کدنویسی را ارزیابی می‌کند. گزارش، امتیازهای TwIL-8B را در هر دو آزمون ارائه می‌کند، اما درباره شرایط آزمون، نسخه‌های مدل‌های مورد مقایسه یا جزئیاتی مانند فعال بودن ابزارها توضیحی نمی‌دهد. همچنین مقیاس امتیازدهی را مشخص نمی‌کند؛ بنابراین 98.2 و 81.6 را باید امتیازهای گزارش‌شده در این آزمون‌ها دانست، نه درصد یا تضمینی برای دقت مدل.
اطلاعات مربوط به مقایسه در آزمون‌های دانش جزئی‌تر است: نام آزمون‌ها یا امتیازها ذکر نشده و مدل‌های هم‌اندازه نیز مشخص نیستند. در نتیجه، تشخیص اندازه اختلاف یا نوع پرسش‌های دانشیِ بررسی‌شده دشوار است. اطلاعات موجود همچنین نمی‌گوید کاربران از کجا می‌توانند به TwIL-8B دسترسی پیدا کنند، آیا وزن‌های آن متن‌باز است یا استفاده از آن چقدر هزینه دارد.
جایگاه TwIL-8B
TwIL-8B کارش را با IBM Granite 4.2 8B آغاز می‌کند و سپس آموزش تکمیلی می‌بیند؛ یعنی پس از ساخته‌شدن مدل پایه، آموزش بیشتری روی آن انجام شده است. انتشار این مدل نشان می‌دهد webAI مدلی را عرضه کرده که طبق گزارش‌ها در دو آزمون مشخصِ ریاضی و کدنویسی نتایج بالایی دارد، هرچند عملکردش در آزمون‌های دانش ضعیف‌تر بوده است. این اطلاعات ثابت نمی‌کند که مدل در مجموع از سامانه‌های هم‌اندازه بهتر است: امتیازهای ریاضی و کدنویسی به‌تنهایی چیزی درباره عملکرد جداگانه آن در حوزه دانش نمی‌گویند و جزئیات مقایسه هم ارائه نشده است.
چرا مهم است
اگر کسی برای کارهای ریاضی یا کدنویسی به‌دنبال انتخاب مدل باشد، امتیازهای گزارش‌شده TwIL-8B آن را به گزینه‌ای تبدیل می‌کند که ارزش پیگیری دارد؛ اما این امتیازها نشان نمی‌دهند مدل با وظایف همان کاربر چگونه کنار می‌آید. از آنجا که اطلاعاتی درباره دسترسی، قیمت و شرایط آزمون ارائه نشده است، هنوز نمی‌توان فهمید کاربران امکان استفاده از آن را دارند یا چطور می‌توانند منصفانه با گزینه‌های دیگر مقایسه‌اش کنند.
