Google Research, test sırasında bir yapay zekâ ajanının çalışma düzenini değiştiren açık kaynaklı Harness2’yi yayımladı. Harness, bir modelin görevi yerine getirmesine yardımcı olan çevresel yapıdır; kaynak, Harness2’nin tam olarak hangi kısımları nasıl yeniden yazdığını açıklamıyor.
MarkTechPost’a göre tek bir iyileştirme adımı, modelin ağırlıklarında güncelleme yapılmadan GLM-5’in WorkBuddy-Bench puanını 11,5 puan artırdı. Bu, bildirilen iyileşmenin temel modeli yeniden eğitmekten değil, ajan düzenini değiştirmekten kaynaklandığını düşündürüyor. Makalede başlangıç puanı, test yapılandırması veya kıyaslamayı yapan ekip belirtilmediğinden, verilen bilgilerle sonuç bağımsız olarak değerlendirilemiyor.
Yayımlanan sürüm geliştiricilere ne söylüyor?
Harness2, Apache-2.0 lisansı altında yayımlandı. Bu lisans, geliştiricilerin koşullarına uymak kaydıyla yazılımı kullanmasına, değiştirmesine ve paylaşmasına olanak tanıyor. Böylece araştırma ekipleri ve diğer geliştiriciler, yalnızca açıklamasına güvenmek yerine çerçeveyi inceleyebiliyor.
Duyuru sınırlı kapsamda: tek bir model, tek bir kıyaslama ve tek bir iyileştirme adımından söz ediyor. Kazancın başka modellerde veya görevlerde de görülüp görülmediği, yöntemin ne kadar hesaplama kaynağı gerektirdiği ya da çerçevenin günlük kullanıma hazır olup olmadığı açıklanmıyor. Geliştiricilerin Harness2’nin kendi ajanlarını iyileştirip iyileştirmeyeceğine karar verebilmesi için bu ayrıntılar önemli.
Neden önemli
Yapay zekâ geliştiricileri Harness2’yi Apache-2.0 lisansı kapsamında inceleyip uyarlayabilir. Bildirilen sonuç, bir modeli yeniden eğitmeden de ajan düzeninin kıyaslama puanlarını etkileyebileceğini düşündürüyor. Ancak kaynakta test ayrıntıları veya kazanımın başka modellere ve görevlere de yansıdığına dair kanıt bulunmadığından, yöntemin pratik değeri belirsizliğini koruyor.
