Qi Zhang liderliğindeki araştırmacılar, daha uzun akıl yürütmenin sonuçları ne zaman iyileştirdiğini öğrenen LLM ajanlarına yönelik PORA tekniğini yayımladı. Eğitim sırasında sistem, aynı adımı iki kez çalıştırıyor: birinde kısa, diğerinde daha uzun bir akıl yürütme sınırı kullanarak hangisinin daha iyi sonuç verdiğini belirliyor. Çalışma anında bir denetleyici, her iki seçeneği de çalıştırmadan daha düşük maliyetli olanı seçmek için öğrenilmiş bu tahmini ve kalan işlem bütçesini kullanıyor. Bellek, kod, perakende ve matematik görevlerindeki testlerde, bir bellek kıyaslamasında puanlar %32,9’a kadar yükselirken matematik görevlerinde model çağrıları %31’e kadar azaldı.
Neden önemli
Geliştiricilerin performansı korurken daha az bulut işlem gücü kullanan akıllı AI ajanları çalıştırmasına olanak tanıyor; böylece çok adımlı akıl yürütmeye dayanan hizmetlerin maliyetini düşürüyor.
