Samaya AI می‌گوید مدل پژوهش مالی این شرکت، استرلینگ، در معیار FrontierFinance امتیاز 58.9% گرفته و از امتیاز 55.9% کلود فِیبل 5.1 پیشی گرفته است. به‌گزارش سمایا، هزینه هر پرسش برای استرلینگ $0.61 است؛ در حالی که این رقم برای کلود $6.89 است—حدود ۱۱ برابر کمتر.
این ارقام نتایج معیارسنجی خود سمایا هستند و حاصل مقایسه‌ای مستقل نیستند. FrontierFinance عملکرد مدل‌ها را در وظایف پژوهشیِ مراحل مختلف فرایند سرمایه‌گذاری می‌سنجد؛ از جمله پرسش‌هایی که پاسخ‌گویی به آن‌ها مستلزم گردآوری داده‌های مالی و ارائه پاسخی مکتوب همراه با ارجاع است. سمایا می‌گوید پرسش‌های این معیار در داده‌های آموزشی مدل‌ها نبوده‌اند، اما خود شرکت آزمون را طراحی و ارزیابی را اجرا کرده است.
استرلینگ چگونه آموزش دید
استرلینگ بر پایه Nemotron 3.5 Lightning شرکت NVIDIA ساخته شده است؛ مدلی با 30 میلیارد پارامتر که در هر نوبت از 3 میلیارد پارامتر استفاده می‌کند. سمایا می‌گوید مدل پایه پیش از آن‌که فرایند آموزشی چهارمرحله‌ای شرکت امتیازش را به 58.9% برساند، در FrontierFinance دقت 42.5% داشت.
این فرایند دو دور آموزش نظارت‌شده و دو دور یادگیری تقویتی را دربر می‌گرفت؛ روشی که در آن از امتیازها برای هدایت تلاش‌های بعدی استفاده می‌شود. مدل یاد گرفت از ابزارهای پژوهش مالی استفاده کند، میان رویکردهای گوناگون پژوهشی دست به انتخاب بزند، شواهد گردآوری کند و گزارش‌هایی همراه با ارجاع ارائه دهد. سمایا می‌گوید برای آموزش از نمونه‌هایی از هشت مدل آموزشی متفاوت و نیز پرسش‌هایی استفاده کرده که متخصصان مالی نوشته و ارزیابی کرده بودند.
ترکیب ابزارهای پژوهشی در این نتیجه نقش دارد: استرلینگ به مجموعه‌ای از ابزارهای ویژه امور مالی دسترسی دارد و مدل‌های کمکی، خروجی‌های طولانی ابزارها و سابقه پژوهش را خلاصه می‌کنند. سمایا می‌گوید این ساختار به مدل کوچک‌ترِ فعال کمک می‌کند تا با فراخوانی‌های متعدد ابزارها پژوهش انجام دهد. بنابراین، امتیازهای منتشرشده عملکرد مدل را در چارچوب این سامانه نشان می‌دهند، نه عملکرد یک مدل مستقل که بدون ابزار پاسخ می‌دهد.
این مقایسه چه چیزی را نشان می‌دهد و چه چیزی را نه
این نتیجه نشان می‌دهد که آموزش تکمیلی و ساختار پژوهشیِ متناسب می‌توانند عملکرد مدلی کوچک‌تر را در آزمون مشخص سمایا بهبود دهند. اما ثابت نمی‌کند که استرلینگ به‌طور کلی در پژوهش مالی از کلود دقیق‌تر است: نتایج ارائه‌شده فقط یک معیار را پوشش می‌دهند و ارزیابی مستقلی هم گزارش نشده است.
سمایا می‌گوید برای انتخاب نقاط بازرسی آموزشی از مجموعه جداگانه‌ای شامل 100 پرسش داخلی استفاده کرده است. این شرکت همچنین گزارش می‌دهد که یک مدل بزرگ‌تر که با همین روش آموزش دیده، در ارزیابی‌های اولیه بهبودهایی نشان داده، اما هنوز نتایج آن را منتشر نکرده است. در اطلاعیه ارائه‌شده مشخص نشده که کاربران چگونه می‌توانند به استرلینگ دسترسی پیدا کنند.
چرا مهم است
برای تیم‌های مالی که ابزارهای پژوهشی مبتنی بر هوش مصنوعی را بررسی می‌کنند، نتایج سمایا دلیلی است برای توجه به مدل‌های کوچک‌ترِ مجهز به ابزار که ممکن است هزینه کمتری داشته باشند. بااین‌حال، چون امتیازها از معیارسنجی خود سمایا به دست آمده‌اند، تیم‌ها برای اطمینان از عملکرد استرلینگ در وظایف پژوهشی خود به شواهد مستقل نیاز دارند.
