Araştırmacılar, bir öğretmen modelin adım adım izlerini yeniden kullanılabilir bir programa dönüştüren PLVR adlı bir teknik yayımladı. Program, dondurulmuş küçük bir dil modelinin (8 milyar parametreli bir model bile olabilir) yanında çalışarak eylemlerine yön veriyor. Telekom test setinde 8B Granite‑4.2 modelinin doğruluğu, PLVR ile birlikte kullanıldığında %43’ten %91,2’ye yükseliyor.
PLVR nasıl çalışıyor?
Önce öğretmen model Kimi‑K3, araç kullanımı problemlerini çözerken akıl yürütme izlerini kaydediyor. PLVR, tekrarlanan işlemleri bulmak için bu izleri kümeliyor. Her işlem için bir “frontier” modeli, küçük ve dondurulmuş bir modelin çalıştırabileceği, türü belirlenmiş kısa bir temel işlem yazıyor. Ardından sistem, doğru son eylemi bulmaya odaklanarak temel işlemleri A* aramasıyla bir araya getiriyor. Çıkarım sırasında program, öğrenci modelin izlemesi için bir düşünce zinciri sunuyor ya da önerilen her araç eylemini gönderilmeden önce denetleyip düzeltiyor.
Farklı alanlardaki sonuçlar
Aynı PLVR programı, üç Nemotron temel modeli ve Granite‑4.2‑8B ile üç kıyaslamada test edildi: telekom, perakende ve LiveMCPBench (araç kullanımına yönelik prosedürel bir test paketi). Telekom testinde tüm Nemotron modelleri %93,3‑94,4 doğruluğa ulaşırken PLVR’li 8B model %91,2’ye çıktı; aradaki fark yalnızca birkaç puandı. Perakende ve LiveMCPBench testlerinde PLVR programı yayımlanmış en iyi temel sonuçlarla rekabet edebildi; ancak ikinci testte 3‑13 puan geride kaldı. Yöntem ayrıca temel modeller arasındaki performans farkını ortalama yaklaşık yedi puandan yaklaşık iki puana indirdi.
Neden önemli
Araç kullanan asistanlar geliştirenler için PLVR, açık bir programın yönlendirmesiyle görece ucuz bir 8B modelin çok daha büyük modeller kadar iyi performans gösterebileceğini ortaya koyuyor. Bu, hesaplama maliyetlerini düşürüp bu tür asistanları daha erişilebilir kılabilir; ancak yöntemin hâlâ kaliteli öğretmen izlerine bağlı olduğu ve performansın alana göre değişebileceği unutulmamalı.
