# MA-Bench, dil modellerini askerî planlama görevlerinde ölçüyor

> Yeni MA‑Bench veri kümesi, dil modellerinin karmaşık belgelerden operasyon planı çıkarma becerisini test ediyor; en başarılı model, değerlendirme ölçütlerinin yüzde 62’sini karşıladı.

Oossa · 2026-10-15 · https://oossa.com/tr/ma-bench-evaluates-language-models-on-military-planning-tasks

Araştırmacılar, bir dil modelinin çelişkili belgelerden hareketle operasyon planı hazırlama becerisini ölçen MA‑Bench’i yayımladı. Testte, uzmanlarca oluşturulmuş on senaryo bulunuyor. Her senaryoda 10 ila 12 sentetik belge ve planlamacılar tarafından belirlenmiş 1,257 geçer/kalır ölçütü yer alıyor. Modelin oluşturduğu brifingleri, dört planlamacıdan oluşan bir kurulun değerlendirmeleriyle tutarlılığı benzer olan bir akıl yürütme modeli puanlıyor (Fleiss κ ≈ 0.42). Önde gelen ve açık ağırlıklı yirmi model arasında en başarılısı, ölçütlerin yüzde 62’sini doğru karşıladı.

## Gerçekler

- Uzmanlarca belirlenmiş 1,257 ölçüt içeren 10 senaryo
- En başarılı model ölçütlerin yüzde 62’sini doğru karşıladı

## Neden önemli

Sonuçlar, günümüz dil modellerinin çıkarım gerektiren birçok planlama değerlendirmesinde hâlâ başarısız olduğunu ve bu nedenle gerçek dünyadaki görev analizlerinde kullanımlarının sınırlı kaldığını gösteriyor.

## Kaynaklar ve referanslar

1. [MA-Bench: Measuring Operational Planning in Language Models](https://arxiv.org/abs/2610.19138) – arXiv cs.LG, 2026-10-15

Son güncelleme: 2026-10-15