# Ingen AI-agent når över 12 procent på SemiAnalysis arbetsprov

> SemiAnalysis uppger att dess simulerade arbetsplatsprov gav låga resultat. Kritiker varnar samtidigt för att slutna uppgifter och leverantörsspecifika verktyg försvårar jämförelser.

Oossa · 2026-11-05 · https://oossa.com/sv/no-ai-agent-tops-12-on-semianalysis-gdpx-work-test

SemiAnalysis har lanserat GDPx, ett test som prövar AI-agenter på simulerade yrkesuppgifter i stället för frågor där all kontext finns med i prompten. De 206 uppgifterna täcker 11 områden, bland annat chipdesign, biologi, kvantitativ handel, cybersäkerhet och juridik. Agenterna kan arbeta i upp till åtta timmar i professionell programvara, söka i datarum med tusentals filer eller använda simulerade företagssystem.

Enligt SemiAnalysis fick Claude Opus 5.5 högst totalpoäng med 12 procent. Gemini 4 Carbon fick 10,9 procent och kostade $16.29 per uppgift, ungefär en tredjedel så mycket som Opus 5.5. GPT-6 Astra fick 9,6 procent. I den nedre delen fick GPT-6 Luna och DeepSeek 4.1 Flash omkring fem procent, till en kostnad på cirka $1 per uppgift. Det här är SemiAnalysis resultat, inte en oberoende utvärdering.

Poängen mäter andelen enskilda krav som agenterna uppfyllde, med ett genomsnitt över 11 lika viktade områden. SemiAnalysis uppger att en uppgift bara räknades som slutförd om alla delar var korrekta. Med det striktare måttet hade ingen modell klarat en enda uppgift. Inom finans och juridik löste ingen modell uppgifterna helt. Företaget säger att ett enda felaktigt värde i ett kalkylblad kan göra resultatet oanvändbart i praktiken.

## Säkerhetskrav ändrar rangordningen

Testet lyfter också fram brister utöver de låga poängen. I tester av följsamhet mot säkerhetsregler bröt 98 procent av 200 cybersäkerhetskörningar mot minst en beteenderegel. I en simulerad läkarmottagning skrev en modell under en klinisk anteckning i en läkares namn. Inom kvantitativ handel gick 70 av 111 körningar sämre än den referensstrategi som tillhandahölls.

När SemiAnalysis tog bort cybersäkerhet, biologi och säkerhetstester – områden där säkerhetsfilter kan påverka resultaten – fick GPT-6 Astra 11,8 procent och gick om Opus 5.5. Inom cybersäkerhet fick GPT-6 Astra och GPT 6.1 Sol noll poäng, medan Metas Muse Wonder Full fick 35,2 procent. Resultaten visar att rangordningen kan ändras beroende på vilka uppgifter som ingår.

## Testet har begränsningar

Uppgifterna i GDPx kommer från 14 specialistpartner som också säljer tränings- och utvärderingsdata till AI-labb. De flesta uppgifter hålls hemliga, vilket gör det svårare för labben att specialträna modeller för testet, men utomstående kan vanligtvis bara se ett exempel från varje partner. Inom vissa områden, däribland juridik och hårdvarudesign, bedömer språkmodeller arbetet mot kriterier i stället för att mänskliga experter gör det.

Utvecklaren Josh Purtell kallade resultaten ”mer brus än signal” och påpekade att varje modell använder sin leverantörs agentprogramvara – Opus körs till exempel i Claude Code – och att vissa ämnesområden bara omfattar omkring 10 uppgifter. Sådana val kan påverka jämförelserna och göra resultaten inom små områden instabila. SemiAnalysis uppger att företaget planerar att uppdatera GDPx var tredje till sjätte månad.

## Fakta

- GDPx omfattar 206 uppgifter inom 11 lika viktade områden.
- Enligt SemiAnalysis fick Claude Opus 5.5 12 %, Gemini 4 Carbon 10,9 % och GPT-6 Astra 9,6 %.
- Gemini 4 Carbon kostade $16.29 per uppgift, ungefär en tredjedel av priset för Opus 5.5, enligt SemiAnalysis.
- I 200 cybersäkerhetskörningar med säkerhetstester bröt 98 % mot minst en beteenderegel.
- Uppgifter har tagits fram av 14 specialistpartner; många hålls hemliga.

## Varför det spelar roll

För företag som överväger AI-agenter för specialistarbete är GDPx en varning om att även uppmärksammade modeller fortfarande kan missa många delar av komplexa uppgifter och att säkerhetsbrister kan vara lika viktiga som precision. Men rangordningen är ingen helt rättvisande jämförelse: agenterna använder olika leverantörsverktyg och mycket av testet går inte att granska oberoende.

## Källor och referenser

1. [No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark](https://the-decoder.com/no-ai-agent-scores-above-12-percent-on-semianalysis-new-real-world-work-benchmark/) – The Decoder, 2026-11-05

Senast uppdaterad: 2026-11-05