ArXiv’de yayımlanan yeni bir makale, yapay zekâ ajanlarının görevleri tamamlamak için izlediği ve “beceri” adı verilen yeniden kullanılabilir talimatları geliştirmeye yönelik SkillNEO yöntemini tanıtıyor. Araştırmacılar, yöntemin GPT-5.4 Mini’nin sekiz alandaki (yazılım mühendisliği ve ofis işleri dâhil) 86 SkillsBench görevi üzerinden hesaplanan ortalama ödülünü %49,1’den %66,4’e çıkardığını bildiriyor.
Yöntem, becerinin yalnızca en yüksek puan alan sürümünü korumanın yol açtığı bir sorunu ele alıyor: Daha düşük puan alan bir sürüm, işe yaraması için birkaç düzenleme daha gerektiren faydalı bir düzeltme içerebilir. SkillNEO, kullanılacak sürümü ve geliştirilmeye devam edilecek sürümleri ayrı ayrı seçiyor. İlgili sürümleri aynı görevde karşılaştırarak işe yarayan adımları ve hâlâ düzeltilmesi gereken aksaklıkları belirliyor. Ayrıca daha sonra elde edilen kanıtlardan yararlanarak önceki bir sürüme dönüp onu yeniden düzenleyebiliyor.
Daha zayıf bir sürüm neden korunsun?
Araştırmada GPT-5.4 Mini görevleri yerine getirdi, düzenleme önerilerinde bulundu ve becerileri güncelledi. Araştırmacılar, sonuçları yeni görevlerde yapılmış ayrı bir test olarak sunmak yerine beceri geliştirme sürecinde kullanılan aynı görev örnekleri üzerinde değerlendirdi. Sekiz alanın tamamında kazanım elde edildiğini bildiriyorlar. Elde edilen puan, orijinal becerilerle GPT-5.5 ve GPT-5.6 Luna için bildirilen sonuçların aralığındaydı.
Araştırmacılar, değiştirilmiş becerileri bu beceriler üzerinde başka düzenleme yapmadan daha güçlü modellerle de denedi. Değiştirilmiş becerilerin kullanıldığı 41 görevde, yeniden kullanım Luna’nın puanını 10,5 yüzde puan artırdı. GPT-5.5 ise orijinal becerilerle yayımlanmış referans puanını 10,6 puan aştı. Makaleye göre, geliştirme sırasında daha düşük puan alan bazı sürümler sonunda kullanılmak üzere seçildi.
Sonuçlar neyi gösteriyor, neyi göstermiyor?
Bulgular, daha az yetenekli bir modelin denemelerinin, küçük model bazı görev gerekliliklerini hâlâ karşılayamasa bile daha güçlü bir ajan için yararlı talimatlar üretebileceğine işaret ediyor. Ancak değerlendirme, belirli 86 kıyaslama görevini kapsıyor ve son testte beceri geliştirme sürecinde kullanılan görev örnekleri yeniden değerlendirildi. Bu nedenle makale, yöntemin daha önce karşılaşılmamış görevlerde ne kadar iyi çalışacağını ortaya koymuyor. Makalenin sunulan özetinde modellerin fiyatı veya erişim koşulları hakkında bilgi verilmiyor.
Neden önemli
Görev odaklı yapay zekâ ajanları geliştiren ekipler için bu sonuçlar, daha ucuz veya daha zayıf bir modelin daha sonra daha güçlü bir modelin kullanacağı yeniden kullanılabilir talimatları iyileştirmeye yardımcı olabileceğine dair kanıt sunuyor. Bildirilen kazanımlar yalnızca test edilen kıyaslama görevleriyle sınırlı; yeni görevlere de yansıyıp yansımadığı henüz bilinmiyor.
