Araştırmacılar, bir dil modelinin çelişkili belgelerden hareketle operasyon planı hazırlama becerisini ölçen MA‑Bench’i yayımladı. Testte, uzmanlarca oluşturulmuş on senaryo bulunuyor. Her senaryoda 10 ila 12 sentetik belge ve planlamacılar tarafından belirlenmiş 1,257 geçer/kalır ölçütü yer alıyor. Modelin oluşturduğu brifingleri, dört planlamacıdan oluşan bir kurulun değerlendirmeleriyle tutarlılığı benzer olan bir akıl yürütme modeli puanlıyor (Fleiss κ ≈ 0.42). Önde gelen ve açık ağırlıklı yirmi model arasında en başarılısı, ölçütlerin yüzde 62’sini doğru karşıladı.
Neden önemli
Sonuçlar, günümüz dil modellerinin çıkarım gerektiren birçok planlama değerlendirmesinde hâlâ başarısız olduğunu ve bu nedenle gerçek dünyadaki görev analizlerinde kullanımlarının sınırlı kaldığını gösteriyor.
