Oossa

METR nimmt offene Aufgaben in KI-Fortschrittsgrafik auf

Die aktualisierte Grafik der gemeinnützigen Organisation zeigt: Bei einfachen Aufgaben verdoppeln sich die Fähigkeiten von KI weiterhin alle vier Monate. Bei anspruchsvollen Aufgaben, die Urteilsvermögen erfordern, etwa der Forschungsplanung, hinken Modelle jedoch hinterher.

Von Von Oossa veröffentlicht: 2 Min. Lesezeit

铮 夏 · Unsplash

Wie MIT Technology Review berichtet, hat die gemeinnützige KI-Evaluierungsorganisation METR eine aktualisierte Version ihrer Grafik zum Zeithorizont veröffentlicht. Die neue Grafik enthält Aufgaben, für die Menschen deutlich länger brauchen und die mehr Urteilsvermögen erfordern, etwa KI-Evaluierungen zu entwerfen oder philosophische Argumente zu bewerten. Die viel geteilte ursprüngliche Grafik maß den Fortschritt daran, wie lange ein Mensch für eine Aufgabe benötigen würde. Sie zeigte, dass sich der Umfang der Aufgaben, die führende Modelle bewältigen können, alle vier Monate verdoppelt. Bei einfachen, überprüfbaren Aufgaben wie Programmieren und Mathematik setzt sich dieser Trend auch in der aktualisierten Grafik fort. Zugleich macht sie jedoch eine wachsende Lücke bei offenen Aufgaben sichtbar. Die hinzugefügten Aufgaben sollen Fähigkeiten untersuchen, die für die Automatisierung von Forschung und Entwicklung wichtig sind. Bei der Aufgabe, Evaluierungen zu entwerfen, lagen selbst die fortschrittlichsten Modelle nur „knapp über der Schwelle“ und waren damit für die Mitarbeitenden von METR noch nicht nützlich. Auch bei der Aufgabe, philosophische Argumente zu bewerten, schnitten die Modelle schlechter ab als menschliche Experten. Die in dem Artikel zitierten Forschenden sagen, die Ergebnisse seien nicht überraschend: Frühere Arbeiten hätten gezeigt, dass KI menschliche Informatikforschung nach wie vor nicht selbstständig reproduzieren kann. Die Mitarbeitenden von METR weisen darauf hin, dass sich die Leistung bei diesen Aufgaben nur schwer messen lässt. Für viele neue Aufgaben ersetzen Schätzungen des Zeitaufwands für Menschen praktische Tests, weil es teuer ist, Menschen für Aufgaben zu bezahlen, die Hunderte Stunden dauern. Der Bericht enthält deshalb weniger Aufgaben, die Urteilsvermögen erfordern, und räumt ein, dass die Daten weniger belastbar sind als bei der ursprünglichen Aufgabensammlung. Fachleute wie Sayash Kapoor von der UC Berkeley und Najoung Kim von der Boston University begrüßen die Aufnahme, warnen aber, dass Trends bei schwer messbaren Fähigkeiten weiterhin mit großen Unsicherheiten behaftet sein werden. Insgesamt bestätigt die aktualisierte Grafik schnelle Fortschritte bei Aufgaben, deren Erfolg sich leicht überprüfen lässt. Bei Arbeiten, die Urteilsvermögen erfordern, ist der Fortschritt dagegen noch unsicher. Die Grafik dürfte beeinflussen, wie die Fachwelt den Zeitrahmen für eine KI-gestützte Automatisierung von Forschung und Entwicklung einschätzt.

Warum die neuen Aufgaben wichtig sind

Wenn KI bei der Entwicklung neuer Experimente oder beim Verfassen von Forschungsanträgen helfen soll, muss sie Aufgaben bewältigen, die sich nicht mit einem einfachen Bestehen-oder-Durchfallen-Test überprüfen lassen. Die aktualisierte METR-Grafik zeigt, dass aktuelle Modelle dem Menschen in diesen Bereichen noch hinterherhinken. Vollständig automatisierte KI-Forschung ist demnach nicht absehbar. Unternehmen, die darauf setzen, mit KI die Produktentwicklung zu beschleunigen, sollten daher nicht mit sofortigen Fortschritten bei hochrangigen strategischen Entscheidungen rechnen. Am zuverlässigsten ist die Technologie weiterhin bei konkreten, überprüfbaren Aufgaben wie dem Generieren von Code oder der Datenanalyse.

Warum es wichtig ist

Für den Alltag bedeutet die Aktualisierung: KI-Werkzeuge werden bei klar umrissenen Aufgaben wie dem Programmieren weiter besser, sind aber noch nicht so weit, menschliches Urteilsvermögen bei der Forschungsplanung oder beim philosophischen Denken zu ersetzen. Unternehmen sollten KI weiterhin zur Automatisierung routinemäßiger Aufgaben einsetzen und Menschen bei strategischen Entscheidungen einbeziehen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.