OpenAI حالت عملکردی جدیدی به نام Astra Ultrafast به مدل GPT‑6 خود افزوده است. این حالت روی تراشه‌های گرافیکی Blackwell شرکت NVIDIA اجرا می‌شود و هم‌اکنون از طریق API شرکت OpenAI در دسترس کاربران طرح‌های ChatGPT Work و Codex قرار دارد. به گفته این شرکت، این حالت می‌تواند توکن‌ها را تا هشت برابر سریع‌تر از تنظیمات استاندارد Astra تولید کند و پاسخ‌گویی اپلیکیشن‌های هوش مصنوعی تعاملی را بهبود دهد.
چرا سرعت برای توسعه‌دهندگان مهم است
تولید سریع‌تر توکن، چرخه‌ای را کوتاه می‌کند که در آن دستیار هوش مصنوعی کد می‌نویسد، ابزاری را به کار می‌گیرد، نتیجه را بررسی می‌کند و درباره گام بعدی تصمیم می‌گیرد. Philippe Tillet، مسئول استنتاج در OpenAI، می‌گوید این افزایش سرعت به عامل‌های هوش مصنوعی کمک می‌کند چرخه‌های ویرایش، آزمایش و اشکال‌زدایی را سریع‌تر به پایان برسانند. این شتاب همچنین هزینه‌های تأخیر را کاهش می‌دهد؛ موضوعی که هنگام فراخوانی‌های متعدد در یک گردش‌کار اهمیت پیدا می‌کند.
سخت‌افزار NVIDIA چگونه این بهبود را ممکن می‌کند
OpenAI، «سرمایه‌گذاری گسترده در ابزارها و مستندات» از سوی NVIDIA را عامل توانایی خود در نوشتن کرنل‌های پربازده می‌داند؛ کرنل‌هایی که از معماری Blackwell بهره می‌گیرند. این شرکت همچنین از مدل‌های خود برای بهبود پیوسته نرم‌افزار استنتاجی استفاده می‌کند که روی GPUها اجرا می‌شود؛ بنابراین ممکن است عملکرد پس از عرضه نیز بهتر شود.
چرا مهم است
توسعه‌دهندگانی که ابزارهای تولید کد می‌سازند، می‌توانند پاسخ‌های سریع‌تری دریافت کنند و چرخه ویرایش، آزمایش و اشکال‌زدایی را کوتاه‌تر کنند. این چرخه‌های سریع‌تر همچنین زمان انتظار کاربران برای قابلیت‌های مبتنی بر هوش مصنوعی در اپلیکیشن‌ها را کاهش می‌دهد و تجربه کلی را بهبود می‌بخشد. هنوز مشخص نیست کاهش تأخیر تا چه اندازه هزینه کاربران نهایی را کم خواهد کرد.
