Oossa

Harness², profesyonel testlerde LLM ajanlarını geliştiriyor

Araştırmacılar, üç kıyaslama paketinde GLM‑5 ve Gemini 3.5 Flash’ın performansını artıran özyinelemeli bir Harness sistemi tanıttı.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

Yanfei Chen liderliğindeki ekip, büyük dil modeli ajanlarını çalıştıran kodu otomatik olarak iyileştiren, tak-çalıştır bir çerçeve olan Harness²’yi yayımladı. Sistem iki özyinelemeli katman kullanıyor: Gerçek yanıtları bilmeye gerek duymadan düzenlemeler önerip bunları test eden görev düzeyinde bir adım ve bu düzenlemelerden öğrenerek sonraki görevlere uyum sağlayan harness düzeyinde bir adım. Üç profesyonel kıyaslama testinde tek bir özyineleme adımı, GLM‑5 ve Gemini 3.5 Flash puanlarını WorkBuddy‑Bench’te 11.5 puana, JobBench’te 4.5 puana ve LAB’da 11.8 yüzde puana kadar yükseltti.

Neden önemli

Bu yöntem, yapay zekâ asistanlarının elle ayarlanmış koda ihtiyaç duymadan yeni ve gerçek dünya görevlerine uyum sağlamasına olanak tanıyabilir. Böylece değişen ortamlarda LLM ajanlarını devreye alan geliştiriciler bundan yararlanabilir.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.