Google DeepMind ha rilasciato un nuovo modello, Gemini 4 Argon. In un test chiamato ARC‑AGI‑3, il modello ha ottenuto un punteggio del 97,5%. Ha così superato la soglia del 95%, raggiunta finora da pochi laboratori. L’unico modello con un punteggio superiore di cui siano stati resi noti i risultati è GPT‑6 Astra di OpenAI, che ha raggiunto il 99,9%.
Come si è svolto il test
Il punteggio è stato ottenuto con una configurazione chiamata “Provider Adapter Harness”. Questa consente al modello di conservare il ragionamento tra un passaggio e l’altro e di comprimere il contesto, una funzione specifica del fornitore. Quando lo stesso modello è stato eseguito con la configurazione più restrittiva “Standard Harness”, il punteggio è sceso al 49,8% e non è riuscito a completare tutti i 55 giochi.
Che cosa indicano i risultati
Nei 25 giochi pubblici di ARC‑AGI‑3, Argon ha avuto bisogno del 62% di azioni in meno rispetto al riferimento umano e ha eguagliato il record di velocità in tre giochi. Nelle versioni precedenti del benchmark, Argon ha ottenuto il 91,3% in ARC‑AGI‑2 e il 98,5% in ARC‑AGI‑1, con costi rispettivamente di $0.32 e $0.16 per attività.
Un indice indipendente chiamato Epoch Capabilities Index ha assegnato ad Argon 165 punti: lo stesso punteggio di Fable 5.1, appena dietro a Opus 5.5 (167) e GPT‑6 Astra (166). Il modello è in testa nei test di conoscenza, agenti e visione, ma è indietro nei compiti di matematica e ingegneria del software.
Perché conta
Per sviluppatori e aziende che si affidano all’IA per risolvere problemi complessi, l’elevato punteggio di Gemini 4 Argon in ARC‑AGI‑3 dimostra che i modelli di Google sono ormai competitivi con i sistemi migliori. Tuttavia, il punteggio più basso nel test standard e i risultati inferiori in matematica e programmazione indicano che il modello potrebbe aver ancora bisogno di impostazioni personalizzate per esprimere al meglio le proprie capacità.
