Oossa

SageMaker JumpStart får topplista för jämförelse av modeller

Den nya topplistan visar kvalitet, hastighet och kostnad för över 70 LLM:er direkt i SageMaker Studio – utan extra kostnad.

Av Publicerad av Oossa: Senast uppdaterad: 1 min läsning

Stephen Phillips - Hostreviews.co.uk · Unsplash

Amazon meddelade att SageMaker JumpStart nu har en topplista över modeller i SageMaker Studio. Där visas jämförbara siffror för fler än 70 stora språkmodeller (LLM:er). Användarna kan sortera listan efter kvalitetsbetyg, latens, genomströmning eller kostnaden för att köra modellen på en vald instanstyp. Funktionen är tänkt att ersätta den gamla vanan att öppna separata modellkort och leta efter benchmarkresultat som har tagits fram under olika förhållanden.

AWS testar varje modell med samma tre tester av resonemangsförmåga – BIG‑Bench Hard, GPQA Diamond och MMLU‑Pro – och använder samma hårdvarukonfiguration vid varje körning. Utöver testresultaten mäter tjänsten tiden till första token, token per sekund (genomströmning) och instanskostnaden för JumpStarts standardkonfiguration för driftsättning. Användarna kan filtrera efter leverantör, licenstyp och in- eller utdataformat, och även välja en användningsprofil som ”chatt” eller ”kodgenerering”. Med ett reglage för optimeringsmål kan de se vilken konfiguration som bäst balanserar kostnad, latens eller genomströmning för deras specifika arbetsbelastning.

Därför är topplistan aktuell nu

Före lanseringen behövde datavetare och utvecklare pussla ihop information från modellkort, vetenskapliga artiklar från tredje part och forum. Källorna använde ofta olika hårdvara och batchstorlekar, eller till och med olika versioner av benchmarktesten, vilket gjorde direkta jämförelser osäkra. Genom att samla informationen i en vy som AWS ansvarar för minskar topplistan behovet av gissningar. Den gör det också snabbare för team att välja en modell som passar deras budget eller latenskrav – särskilt i reglerade branscher där det är avgörande att kunna förutse kostnaderna.

Verktyget är gratis och fungerar i alla kommersiella AWS-regioner där SageMaker Studio är tillgängligt. Topplistan i sig medför ingen extra kostnad, men användarna betalar fortfarande för de beräkningsresurser de faktiskt använder.

Varför det spelar roll

För ett datavetenskapligt team gör topplistan en tidskrävande researchuppgift till en snabb sökning. Teamet kan välja en modell som uppfyller både prestanda- och budgetkrav utan att leta bland benchmarkrapporter från olika källor. Företag kan nu uppskatta molnkostnaderna mer tillförlitligt innan de bestämmer sig för en modell, vilket minskar risken för oväntade utgifter. Oberoende granskning av AWS benchmarkresultat saknas fortfarande, så användarna bör se betygen som en vägledning snarare än en definitiv rangordning.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.