متا سامانه Catching JiTTests را به مرحله استفاده عملیاتی رسانده است. این سامانه از مدلهای زبانی بزرگ (LLM)—فناوری هوش مصنوعیِ بهکاررفته در چتباتها—برای تولید آزمونهایی استفاده میکند که باگهای تغییرات کد را پیش از انتشار پیدا کنند. متا میگوید این سامانه در نیمه نخست ۲۰۲۶ به شناسایی ۷۴ باگ جدی حریم خصوصی کمک کرد؛ پیش از آنکه تغییرات مربوطه به محیط عملیاتی برسند.
این شرکت همچنین میگوید سامانه در همان دوره، شمار کلی رخدادهای حریم خصوصی را که آنها را شدید طبقهبندی میکند ۲۰٪ کاهش داد. مهندسانی که یافتههای سامانه را بررسی کردند، نرخ مثبت واقعی ۶۰٪ را گزارش دادند؛ یعنی از نظر آنها حدود شش مورد از هر ده مورد علامتگذاریشده واقعاً مشکلساز بود. اینها نتایج متا هستند؛ در اطلاعات ارائهشده، ارزیابی مستقلی از آنها وجود ندارد.
این سامانه چگونه کار میکند؟
JiTTests با ابزارهای هوش مصنوعیای که کد را میخوانند و درباره ایرادهای احتمالی نظر میدهند تفاوت دارد. سامانه متا آزمونهای اجرایی تولید میکند که اگر تغییری در کد رفتاری را ایجاد کند که آزمون برای شناسایی آن طراحی شده، شکست میخورند. این آزمونها تغییراتی را هدف میگیرند که سامانه امتیازدهی ریسک متا احتمال بروز پسرفتهای جدی در آنها را بیشتر میداند.
سامانه شبها و با استفاده از ظرفیت پردازشیِ بلااستفاده اجرا میشود و تغییرات پرریسک کدی را که روز قبل ثبت شدهاند بررسی میکند. دو رویکرد دارد: در یکی، از یک LLM خواسته میشود هدف تغییر و نقاط احتمالی بروز مشکل را حدس بزند؛ در دیگری، تغییر از ابتدا بالقوه معیوب فرض میشود و آزمونهایی برای آشکارکردن تفاوتهای رفتاری تولید میشوند. آزمونهایی که شکست میخورند، برای بررسی بیشتر در نظر گرفته میشوند.
سپس متا با یک بررسیکننده مبتنی بر قواعد و مجموعهای از LLMها—چند مدلی که نتیجه را ارزیابی میکنند—هشدارهای نادرست احتمالی را فیلتر میکند. مهندسان معیارها را تعیین میکنند و نتایج را در سطح کلی میسنجند، نه اینکه تکتک آزمونهای تولیدشده را بررسی کنند. متا این رویکرد را «انسان در حلقه نظارت» مینامد.
نتایج شامل چه مواردی است؟
متا میگوید ۵۸۹ مهندس، معادل ۶۴٪ از افرادی که سامانه به آنها مراجعه کرده، با آن تعامل داشتهاند. در اطلاعات ارائهشده، مشخص نشده چه تعداد تغییر کد آزموده شده یا نرخ مثبت واقعی ۶۰٪، فراتر از بازخورد مهندسان، چگونه اندازهگیری شده است. بنابراین این ارقام به استفاده داخلی متا مربوطاند و نتیجهای نیستند که در شرکتها یا پایگاههای کد دیگر نیز تأیید شده باشد.
برای مهندسان متا، این سامانه یک مرحله بررسی دیگر پیش از ادغام کد فراهم میکند تا برخی مشکلاتی را پیدا کند که ممکن است از آزمونهای معمولی پنهان بمانند. JiTTests بخشی از زیرساخت داخلی متاست؛ اطلاعات ارائهشده از عرضه عمومی یا دسترسی توسعهدهندگان خارج از شرکت به آن چیزی نمیگوید.
چرا مهم است
برای مهندسان متا، JiTTests فرصتی دیگر برای یافتن باگهای حریم خصوصی پیش از انتشار کد فراهم میکند، بیآنکه لازم باشد همه آزمونهای تولیدشده را بررسی کنند. متا میگوید این سامانه رخدادهای شدید حریم خصوصی را کاهش داده است، اما این ارقام نتایج داخلی شرکتاند و نشان نمیدهند که این روش در جاهای دیگر نیز به همان اندازه مؤثر خواهد بود.