Amazon meddelade att SageMaker JumpStart nu har en topplista över modeller i SageMaker Studio. Där visas jämförbara siffror för fler än 70 stora språkmodeller (LLM:er). Användarna kan sortera listan efter kvalitetsbetyg, latens, genomströmning eller kostnaden för att köra modellen på en vald instanstyp. Funktionen är tänkt att ersätta den gamla vanan att öppna separata modellkort och leta efter benchmarkresultat som har tagits fram under olika förhållanden.
AWS testar varje modell med samma tre tester av resonemangsförmåga – BIG‑Bench Hard, GPQA Diamond och MMLU‑Pro – och använder samma hårdvarukonfiguration vid varje körning. Utöver testresultaten mäter tjänsten tiden till första token, token per sekund (genomströmning) och instanskostnaden för JumpStarts standardkonfiguration för driftsättning. Användarna kan filtrera efter leverantör, licenstyp och in- eller utdataformat, och även välja en användningsprofil som ”chatt” eller ”kodgenerering”. Med ett reglage för optimeringsmål kan de se vilken konfiguration som bäst balanserar kostnad, latens eller genomströmning för deras specifika arbetsbelastning.
Därför är topplistan aktuell nu
Före lanseringen behövde datavetare och utvecklare pussla ihop information från modellkort, vetenskapliga artiklar från tredje part och forum. Källorna använde ofta olika hårdvara och batchstorlekar, eller till och med olika versioner av benchmarktesten, vilket gjorde direkta jämförelser osäkra. Genom att samla informationen i en vy som AWS ansvarar för minskar topplistan behovet av gissningar. Den gör det också snabbare för team att välja en modell som passar deras budget eller latenskrav – särskilt i reglerade branscher där det är avgörande att kunna förutse kostnaderna.
Verktyget är gratis och fungerar i alla kommersiella AWS-regioner där SageMaker Studio är tillgängligt. Topplistan i sig medför ingen extra kostnad, men användarna betalar fortfarande för de beräkningsresurser de faktiskt använder.
Varför det spelar roll
För ett datavetenskapligt team gör topplistan en tidskrävande researchuppgift till en snabb sökning. Teamet kan välja en modell som uppfyller både prestanda- och budgetkrav utan att leta bland benchmarkrapporter från olika källor. Företag kan nu uppskatta molnkostnaderna mer tillförlitligt innan de bestämmer sig för en modell, vilket minskar risken för oväntade utgifter. Oberoende granskning av AWS benchmarkresultat saknas fortfarande, så användarna bör se betygen som en vägledning snarare än en definitiv rangordning.