Samaya AI uppger att företagets finansmodell för research, Sterling, fick 58,9 % i Samayas benchmark FrontierFinance, jämfört med 55,9 % för Claude Fable 5.1. Enligt Samaya kostar det $0.61 per fråga att använda Sterling, mot $6.89 för Claude – omkring 11 gånger mindre.
Siffrorna är Samayas egna benchmarkresultat, inte en oberoende jämförelse. FrontierFinance testar researchuppgifter genom hela investeringsprocessen, däribland frågor som kräver att modellen samlar in finansiella data och styrker ett skriftligt svar med källhänvisningar. Samaya uppger att benchmarkfrågorna inte ingick i träningsmaterialet, men företaget tog fram testet och genomförde utvärderingen.
Så tränades Sterling
Sterling bygger på NVIDIA:s Nemotron 3.5 Lightning, en modell med 30 miljarder parametrar som använder 3 miljarder parametrar åt gången. Enligt Samaya fick basmodellen 42,5 % på FrontierFinance innan företagets träningsprocess i fyra steg höjde resultatet till 58,9 %.
Processen bestod av två omgångar övervakad träning och två omgångar förstärkningsinlärning, en metod där poäng används för att styra senare försök. Modellen lärde sig använda finansverktyg för research, välja mellan olika researchmetoder, samla in underlag och ta fram rapporter med källhänvisningar. Samaya uppger att modellen tränades på exempel från åtta olika lärarmodeller samt på frågor som skrevs och bedömdes av finansproffs.
Researchmiljön har betydelse för resultatet: Sterling använder en särskild uppsättning finansverktyg, och hjälparmodeller kortar ner långa verktygsresultat och researchhistoriker. Enligt Samaya gör detta att den mindre aktiva modellen kan utföra research genom många verktygsanrop. De publicerade resultaten beskriver alltså modellen i det här systemet, inte en fristående modell som svarar utan verktyg.
Vad jämförelsen visar – och inte visar
Resultatet tyder på att efterträning och en anpassad researchmiljö kan förbättra en mindre modells prestanda på Samayas specifika test. Det visar inte att Sterling generellt är mer träffsäker än Claude för finansresearch: de redovisade resultaten gäller ett enda benchmark, och någon oberoende utvärdering har inte dokumenterats.
Samaya uppger att företaget använde en separat uppsättning med 100 interna frågor för att välja träningskontroller. Företaget säger också att en större modell som tränats med samma metod har visat tidiga förbättringar, men har ännu inte redovisat resultaten. I det publicerade tillkännagivandet framgår det inte hur man kan få tillgång till Sterling.
Varför det spelar roll
För finansföretag som undersöker AI-verktyg för research ger Samayas resultat skäl att titta närmare på mindre modeller med verktygsstöd som ett potentiellt billigare alternativ. Men eftersom poängen kommer från Samayas eget benchmark behövs fortfarande oberoende underlag för att avgöra om Sterling fungerar lika bra för deras researchuppgifter.
