Forschende unter der Leitung von Qi Zhang haben PORA vorgestellt, eine Methode für LLM-Agenten, die lernen, wann längeres Nachdenken bessere Ergebnisse bringt. Während des Trainings führt das System denselben Schritt zweimal aus – einmal mit einem kurzen und einmal mit einem längeren Limit für die Denkzeit –, um festzustellen, welche Variante zum besseren Endergebnis führt. Zur Laufzeit nutzt eine Steuerung diese erlernte Einschätzung sowie das verbleibende Rechenbudget, um die günstigere Option auszuwählen, ohne beide Varianten auszuführen. Tests zu Gedächtnis, Programmieren, Einzelhandel und Mathematik erzielten bei einem Gedächtnis-Benchmark bis zu 32,9 % höhere Werte und bei Matheaufgaben bis zu 31 % weniger Modellaufrufe.
Warum es wichtig ist
Entwickler können damit leistungsfähigere KI-Agenten betreiben, die weniger Cloud-Rechenleistung benötigen und zugleich ihre Leistung beibehalten. Das senkt die Kosten für Dienste, die auf mehrstufiges Schlussfolgern angewiesen sind.
