Qi Zhang के नेतृत्व में शोधकर्ताओं ने PORA जारी किया है। यह LLM एजेंटों के लिए ऐसी तकनीक है, जो सीखती है कि कब ज़्यादा देर तक तर्क करने से नतीजे बेहतर होते हैं। प्रशिक्षण के दौरान सिस्टम एक ही चरण को दो बार चलाता है—एक बार तर्क की कम सीमा के साथ और दूसरी बार ज़्यादा सीमा के साथ—ताकि पता चले कि किससे अंतिम नतीजा बेहतर मिलता है। इस्तेमाल के समय एक कंट्रोलर इस सीखे हुए अनुमान और बचे हुए कंप्यूट बजट के आधार पर कम खर्च वाला विकल्प चुनता है, दोनों विकल्प चलाए बिना। मेमोरी, कोड, रिटेल और गणित से जुड़े कार्यों पर हुए परीक्षणों में मेमोरी बेंचमार्क पर स्कोर 32.9% तक बेहतर रहे और गणित के कार्यों में मॉडल कॉल 31% तक कम हुए।
यह क्यों मायने रखता है
इससे डेवलपर ऐसे ज़्यादा कुशल AI एजेंट चला सकते हैं, जो प्रदर्शन बनाए रखते हुए क्लाउड कंप्यूट का कम इस्तेमाल करें। इससे कई चरणों में तर्क करने वाली सेवाओं की लागत घट सकती है।
