Microsoft Research و University of California, Berkeley افزونه‌ای متن‌باز به نام TokenEconomizer منتشر کرده‌اند که برای کاهش مصرف توکن عامل‌های کدنویسی طراحی شده است. به گزارش MarkTechPost، این افزونه از نشست‌های قبلی یاد می‌گیرد و هزینه توکن را در SWE-Bench بین 18.4% تا 30.9% کاهش داده است. پژوهشگران می‌گویند این افزونه بدون تغییر خودِ عامل کار می‌کند.
توکن‌ها بخش‌هایی از متنی هستند که یک سامانه هوش مصنوعی پردازش می‌کند. استفاده از توکن‌های کمتر می‌تواند میزان استفاده عامل از مدل را کاهش دهد؛ هرچند درصدهای گزارش‌شده به هزینه توکن مربوط‌اند، نه به مبلغ دلاری مشخص. همچنین این ارقام به این معنا نیست که همه کاربران باید انتظار صرفه‌جویی یکسانی داشته باشند: نتیجه به SWE-Bench مربوط است و اطلاعات موجود نمی‌گوید میزان کاهش در وظایف یا پیکربندی‌های مختلف عامل چقدر تفاوت داشته است.
یادگیری از نشست‌های قبلی، ایده اصلی این افزونه است. TokenEconomizer به‌جای آنکه نیازمند عامل کدنویسی دیگری باشد، به‌عنوان افزونه‌ای معرفی شده که با استفاده از سابقه نشست‌ها، مصرف توکن را بهینه‌تر می‌کند. این قابلیت می‌تواند برای تیم‌هایی که مرتب از عامل‌های کدنویسی استفاده می‌کنند اهمیت داشته باشد؛ اما توضیحات مشخص نمی‌کند افزونه چه اطلاعاتی را ذخیره می‌کند، چطور تصمیم می‌گیرد چه چیزی را دوباره به کار بگیرد یا آیا کاربران می‌توانند این انتخاب‌ها را کنترل کنند.
آنچه هنوز روشن نیست
دامنه کاهش گزارش‌شده به‌عنوان معیاری از صرفه‌جویی احتمالی در توکن امیدوارکننده است، اما اطلاعات لازم برای ارزیابی آن ارائه نشده است. MarkTechPost مدل یا عامل آزمایش‌شده، پیکربندی بنچمارک، تعداد اجراها یا مقایسه با روش‌های دیگر کاهش مصرف توکن را ذکر نمی‌کند. همچنین نمی‌گوید نتیجه به‌طور مستقل بررسی شده است یا نه. بدون این جزئیات، باید این درصد را نتیجه‌ای گزارش‌شده در یک بنچمارک دانست، نه تضمینی برای دیگر کارهای کدنویسی.
TokenEconomizer متن‌باز توصیف شده، اما خلاصه اعلام انتشار، مخزن کد، مجوز، عامل‌های پشتیبانی‌شده یا پیش‌نیازهای راه‌اندازی را مشخص نمی‌کند. این اطلاعات به توسعه‌دهندگان نشان می‌دهد که آزمایش افزونه چقدر آسان است و آیا با ابزارهایشان سازگاری دارد یا نه. فعلاً نکته تأییدشده محدودتر است: Microsoft Research و UC Berkeley افزونه‌ای منتشر کرده‌اند که به گفته آن‌ها، بدون تغییر عامل کدنویسی، هزینه توکن را در SWE-Bench کاهش می‌دهد.
چرا مهم است
برای توسعه‌دهندگانی که از عامل‌های کدنویسی استفاده می‌کنند، مصرف کمتر توکن می‌تواند هزینه استفاده را کاهش دهد؛ البته به شرط آنکه صرفه‌جویی مشابهی در کارهای خودشان هم حاصل شود. نتیجه گزارش‌شده فقط به SWE-Bench مربوط است و اطلاعات موجود، صرفه‌جویی در استفاده واقعی، مبلغ دلاری یا عامل‌هایی را که با این افزونه سازگارند مشخص نمی‌کند.
