MIT Technology Review meldt dat de non-profitorganisatie METR, die AI evalueert, een bijgewerkte versie van haar tijdshorizon-grafiek heeft uitgebracht. De nieuwe grafiek bevat taken die mensen veel meer tijd kosten en meer beoordelingsvermogen vereisen, zoals het ontwerpen van AI-evaluaties of het beoordelen van filosofische argumenten. De veel gedeelde oorspronkelijke grafiek mat de voortgang aan de hand van de tijd die een mens nodig zou hebben om een taak af te ronden. Daaruit bleek dat grensverleggende modellen elke vier maanden twee keer zo lange taken aankunnen. Die trend blijft zichtbaar bij eenvoudige, verifieerbare taken zoals programmeren en rekenen, maar de update laat ook zien dat de achterstand bij open taken groeit. De toegevoegde taken zijn bedoeld om vaardigheden te toetsen die van belang zijn voor de automatisering van onderzoek en ontwikkeling. Bij de taak rond het ontwerpen van evaluaties presteerden zelfs de meest geavanceerde modellen slechts «net boven de grens» en bleven ze onder het niveau waarop ze voor METR-medewerkers bruikbaar zouden zijn. Ook bij de taak rond filosofische argumenten scoorden de modellen lager dan menselijke experts. Onderzoekers die in het artikel aan het woord komen, zeggen dat de resultaten niet verrassend zijn: uit eerder onderzoek bleek al dat AI zelfstandig nog geen menselijk computerwetenschappelijk onderzoek kan reproduceren. Medewerkers van METR merken zelf op dat het lastig is om prestaties op deze taken te meten. Voor veel nieuwe taken worden schattingen van de benodigde menselijke tijd gebruikt in plaats van praktijktests, omdat het duur is om mensen in te huren voor opdrachten die honderden uren kosten. Daarom bevat het rapport minder taken die veel beoordelingsvermogen vereisen en geeft het toe dat de gegevens minder robuust zijn dan die van de oorspronkelijke reeks. Experts als Sayash Kapoor van UC Berkeley en Najoung Kim van Boston University vinden de toevoeging een positieve stap, maar waarschuwen dat trends voor vaardigheden die moeilijk te meten zijn onduidelijk zullen blijven. Al met al bevestigt de bijgewerkte grafiek de snelle vooruitgang bij taken waarvan het resultaat eenvoudig te controleren is, terwijl de vooruitgang bij werk dat veel beoordelingsvermogen vraagt onzeker blijft. De grafiek zal waarschijnlijk mede bepalen hoe de sector denkt over het tijdpad voor automatisering van R&D met AI.
Waarom de nieuwe taken ertoe doen
Als AI moet helpen bij het ontwerpen van nieuwe experimenten of het schrijven van onderzoeksvoorstellen, moet het taken aankunnen die niet met een eenvoudige goed-of-fouttest te controleren zijn. De bijgewerkte METR-grafiek laat zien dat de huidige modellen op die gebieden nog achterlopen op mensen. Dat wijst erop dat volledig geautomatiseerd AI-onderzoek niet voor de deur staat. Voor bedrijven die erop rekenen dat AI de productontwikkeling versnelt, betekent die achterstand dat ze niet meteen grote voordelen moeten verwachten van AI bij strategische beslissingen op hoog niveau. De technologie is voorlopig het betrouwbaarst voor concreet, verifieerbaar werk, zoals code genereren of gegevens analyseren.
Waarom het ertoe doet
Voor gewone gebruikers betekent de update dat AI-tools beter blijven worden in afgebakende taken zoals programmeren, maar nog niet klaar zijn om menselijk beoordelingsvermogen bij onderzoeksplanning of filosofisch redeneren te vervangen. Bedrijven kunnen AI blijven inzetten om routinetaken te automatiseren, maar moeten mensen betrokken houden bij strategische beslissingen.