MIT Technology Review rapporterar att den ideella organisationen METR, som utvärderar AI, har släppt en uppdaterad version av sitt diagram över AI-modellers tidshorisont. Det nya diagrammet lägger till uppgifter som tar människor betydligt längre tid och kräver större omdöme, till exempel att utforma AI-utvärderingar eller bedöma filosofiska argument. Det ursprungliga diagrammet, som fick stor spridning, mätte utvecklingen utifrån hur lång tid en människa skulle behöva för att slutföra en uppgift. Det visade att de ledande modellerna fördubblar längden på de uppgifter de klarar av var fjärde månad. Den uppdaterade versionen visar att den utvecklingen håller i sig för enkla, verifierbara uppgifter som programmering och matematik, men lyfter också fram en växande klyfta när det gäller öppna uppgifter. De tillagda uppgifterna ska undersöka förmågor som är viktiga för att automatisera forskning och utveckling. I uppgiften att utforma utvärderingar presterade även de mest avancerade modellerna bara ”marginellt över gränsen” och nådde inte upp till den nivå där de skulle vara användbara för METR:s medarbetare. Även på uppgiften med filosofiska argument fick modellerna lägre poäng än mänskliga experter. Forskare som citeras i artikeln säger att resultaten inte är överraskande; tidigare forskning har visat att AI fortfarande inte kan bedriva datavetenskaplig forskning på egen hand på samma nivå som människor. METR:s egna medarbetare påpekar att det är svårt att mäta prestation på de här uppgifterna. För många nya uppgifter ersätts faktiska tester med uppskattningar av hur lång tid de skulle ta för människor, eftersom det är dyrt att betala personer för att utföra arbetsuppgifter som tar hundratals timmar. Rapporten innehåller därför färre uppgifter som kräver omdöme och medger att underlaget är mindre robust än i den ursprungliga uppsättningen. Experter som Sayash Kapoor vid UC Berkeley och Najoung Kim vid Boston University ser tillägget som ett steg i rätt riktning, men varnar för att trender för förmågor som är svåra att mäta kommer att vara osäkra. Sammantaget bekräftar det uppdaterade diagrammet de snabba framstegen på uppgifter där resultatet är lätt att verifiera, medan utvecklingen på arbete som kräver omdöme fortfarande är osäker. Diagrammet kommer sannolikt att påverka hur forskarsamhället ser på tidslinjen för AI-driven automatisering av forskning och utveckling.
Därför spelar de nya uppgifterna roll
För att AI ska kunna hjälpa till att utforma nya experiment eller skriva forskningsförslag måste den klara uppgifter som inte kan kontrolleras med ett enkelt godkänt eller underkänt. Det uppdaterade METR-diagrammet visar att dagens modeller fortfarande ligger efter människor på de områdena, vilket tyder på att helt automatiserad AI-forskning inte är nära förestående. För företag som satsar på att AI ska påskynda produktutvecklingen innebär klyftan att de inte bör räkna med omedelbara vinster av att använda AI för strategiska beslut på hög nivå. Tekniken är fortfarande mest tillförlitlig för konkreta, verifierbara arbetsuppgifter som kodgenerering eller dataanalys.
Varför det spelar roll
För vanliga användare innebär uppdateringen att AI-verktyg fortsätter att bli bättre på tydligt avgränsade uppgifter som programmering, men att de ännu inte är redo att ersätta mänskligt omdöme i forskningsplanering eller filosofiskt resonemang. Företag bör fortsätta använda AI för att automatisera rutinuppgifter, men låta människor vara med och fatta strategiska beslut.