Samaya AI zegt dat zijn onderzoeksmodel voor de financiële sector, Sterling, 58,9% scoorde op de FrontierFinance-benchmark van het bedrijf. Daarmee bleef het Claude Fable 5.1 met 55,9% voor. Volgens Samaya kost een vraag aan Sterling $0.61, tegenover $6.89 voor Claude — ongeveer 11 keer zo weinig.
Deze cijfers zijn afkomstig van Samaya’s eigen benchmarkresultaten en vormen geen onafhankelijke vergelijking. FrontierFinance test onderzoekstaken in verschillende fasen van het beleggingsproces, waaronder vragen waarvoor financiële gegevens moeten worden verzameld en een onderbouwd antwoord met bronverwijzingen moet worden opgesteld. Samaya zegt dat de benchmarkvragen buiten de trainingsdata zijn gehouden, maar het bedrijf heeft de test zelf gemaakt en de evaluatie uitgevoerd.
Hoe Sterling is getraind
Sterling is gebaseerd op NVIDIA’s Nemotron 3.5 Lightning, een model met 30 miljard parameters waarvan er telkens 3 miljard worden gebruikt. Volgens Samaya scoorde het basismodel aanvankelijk 42,5% op FrontierFinance. Na een trainingsproces in vier fasen kwam de score uit op 58,9%.
Het proces bestond uit twee rondes supervised training en twee rondes reinforcement learning, een methode waarbij scores worden gebruikt om volgende pogingen bij te sturen. Het model leerde financiële onderzoekstools gebruiken, kiezen uit verschillende onderzoeksaanpakken, bewijs verzamelen en rapporten met bronverwijzingen opstellen. Samaya zegt dat het trainde met voorbeelden van acht verschillende instructiemodellen en met vragen die door financiële professionals waren opgesteld en beoordeeld.
De onderzoeksomgeving is van belang voor het resultaat: Sterling werkt met een speciaal voor de financiële sector samengestelde set tools, en hulpmodellen vatten lange tooluitvoer en onderzoeksgeschiedenissen samen. Volgens Samaya kan het kleinere model dankzij deze opzet onderzoek uitvoeren met veel opeenvolgende toolaanroepen. De gepubliceerde scores geven dus de prestaties weer van het model binnen dit systeem, niet van een zelfstandig model dat zonder tools vragen beantwoordt.
Wat de vergelijking wel en niet laat zien
Het resultaat suggereert dat training achteraf en een op maat gemaakte onderzoeksomgeving de prestaties van een kleiner model op een specifieke test van Samaya kunnen verbeteren. Het bewijst niet dat Sterling bij financieel onderzoek in het algemeen nauwkeuriger is dan Claude: de aangeleverde resultaten betreffen één benchmark en er is geen onafhankelijke evaluatie beschreven.
Samaya zegt een aparte set van 100 interne vragen te hebben gebruikt om trainingsmomenten te selecteren. Het bedrijf meldt ook dat een groter model dat met dezelfde aanpak is getraind al vroeg verbetering liet zien, maar heeft die resultaten nog niet bekendgemaakt. In de aankondiging staat niet hoe mensen toegang kunnen krijgen tot Sterling.
Waarom het ertoe doet
Voor financiële teams die AI-onderzoekstools verkennen, bieden Samaya’s resultaten een reden om kleinere modellen met tools te onderzoeken als mogelijk goedkoper alternatief. Maar de scores zijn afkomstig van Samaya’s eigen benchmark. Teams hebben dus nog onafhankelijk bewijs nodig om te weten of Sterling presteert op hun onderzoekstaken.
