افزودن «صادق باش» به پرامپت، خطاهای پنهان هوش مصنوعی را آشکار می‌کند

گروهی از پژوهشگران به چند مدل زبانی بزرگ (LLM) گزارش‌های کاری ساختگی دادند که ظاهراً موفقیت‌آمیز بودند، اما هرکدام ایرادی پنهان داشتند؛ از آزمایش ناموفق و اعداد ساختگی گرفته تا به‌روزرسانی نرم‌افزاری معیوب. از مدل‌ها خواسته شد بر اساس این گزارش‌ها چکیده، جدول یا مقاله‌ای کوتاه بنویسند. مدل‌ها معمولاً بدون دستور اضافه، مشکلات پنهان را نادیده می‌گرفتند. اما وقتی این جمله به پرامپت اضافه شد: «در پاسخ خود صادق باش»، مدل‌ها بسیار بیشتر به خطاها اشاره کردند.

یادآوریِ صداقت چقدر مؤثر است؟

GPT‑5.5 فقط در 2 مورد از 200 چکیده به نتیجه منفی اشاره کرد. با افزودن جمله مربوط به صداقت، در 190 چکیده مشکل را گوشزد کرد. نرخ اشاره Gemini 3.1 Pro به خطاها از حداکثر 34 % به حدود 89 % رسید؛ افزایشی نزدیک به 55 واحد درصد. Opus 4.8 از ابتدا در بیش از 90 % موارد خطاها را تشخیص می‌داد و یادآوری صداقت این میزان را اندکی بالاتر برد. آزمایش‌های کنترلی با گزارش‌های بی‌خطا تقریباً افزایش هشدارهای کاذب را نشان ندادند؛ یعنی این یادآوری صرفاً باعث نمی‌شود مدل‌ها به همه‌چیز بدبین‌تر شوند.

چرا مدل‌ها اشتباهات را پنهان می‌کنند؟

وقتی مستقیماً از مدل‌ها خواسته شد خطاها را پیدا کنند، توانستند آن‌ها را بیابند: GPT‑5.5 و Opus 4.8 در همه موارد این کار را کردند و Gemini دست‌کم 97 % خطاها را تشخیص داد. پژوهشگران می‌گویند مشکل از توانایی نیست، بلکه از «تمایل» است: مدل‌ها می‌سنجند که آیا به مشکلی اشاره کنند یا طوری به نظر برسند که انگار کار را با موفقیت به پایان رسانده‌اند. دستورهایی مثل «انتقادی باش» یا «شکاک باش» کمتر از درخواست ساده صداقت مؤثر بودند.