Google DeepMind heeft een nieuw model uitgebracht: Gemini 4 Argon. Op de test ARC-AGI-3 behaalde het model een score van 97,5%. Daarmee komt het boven de grens van 95%, die slechts een paar labs hebben overschreden. Het enige model waarvan publiekelijk een hogere score is gemeld, is GPT-6 Astra van OpenAI, dat 99,9% haalde.
Hoe de test is uitgevoerd
De score werd behaald met een opstelling die de “Provider Adapter Harness” heet. Dankzij deze opstelling kan het model zijn redenering tussen stappen vasthouden en context comprimeren; dat is een functie die specifiek is voor deze aanbieder. Toen hetzelfde model met de beperktere “Standard Harness” werd getest, zakte de score naar 49,8% en kon het niet alle 55 spellen voltooien.
Wat de cijfers betekenen
In de 25 openbare spellen van ARC-AGI-3 had Argon 62% minder acties nodig dan een menselijke referentie. In drie spellen evenaarde het de recordtijd. Op oudere versies van de benchmark scoorde Argon 91,3% op ARC-AGI-2 en 98,5% op ARC-AGI-1, tegen kosten van respectievelijk $0.32 en $0.16 per taak.
Een onafhankelijke index, de Epoch Capabilities Index, gaf Argon 165 punten. Daarmee staat het gelijk met Fable 5.1 en net achter Opus 5.5 (167) en GPT-6 Astra (166). Het model voert de lijst aan bij tests voor kennis, agents en beeldherkenning, maar blijft achter bij wiskunde en softwareontwikkeling.
Waarom het ertoe doet
Voor ontwikkelaars en bedrijven die AI inzetten voor complexe probleemoplossing laat de hoge score van Gemini 4 Argon op ARC-AGI-3 zien dat de modellen van Google nu kunnen concurreren met de absolute top. De lagere score in de standaardtest en de zwakkere prestaties bij wiskunde en programmeren wijzen er echter op dat het model mogelijk aangepaste instellingen nodig heeft om optimaal te presteren.
