Araştırmacılar, yanıt vermeden önce bilgi arayan dil modelleri için Öz Değerlendirmeli Pekiştirmeli Öğrenme (SARL) adlı bir eğitim yöntemi öneriyor. Yöntem, modellerin bulduklarını ve hâlâ eksik olanları takip etmesini sağlayarak hatalı akıl yürütmeyi ve aramayı çok erken sonlandırmayı azaltmayı amaçlıyor.
Yazarlar, en güçlü temel yöntemlerine kıyasla göreli olarak %24,3 iyileşme elde edildiğini bildiriyor. Ayrıca ilgili görevlerdeki en güçlü temel yöntemlere kıyasla çok adımlı akıl yürütme ölçütlerinde ortalama %35,9, derin araştırma ölçütlerinde ise %27,9 artış kaydedildiğini belirtiyorlar. SARL’nin yanıt üretimi sırasında ek değerlendirme gerektirmediğini söylüyorlar; ancak makalenin özeti test edilen modellerin adlarını vermiyor ve sonuçların kullanımdaki arama araçlarına ne ölçüde aktarılabileceğini değerlendirmek için yeterli ayrıntı sunmuyor.
Neden önemli
Araştırma asistanları geliştiren ekipler için SARL, arama sürecini izlemenin kullanım sırasında ayrı bir adım olarak eklenmek yerine eğitim aşamasında öğretilebileceğine işaret ediyor. Ancak makalenin özeti, yöntemin gerçek dünyadaki ürünlere fayda sağlayıp sağlamadığını ortaya koymuyor.
