OpenAI, GPT‑6 modeline Astra Ultrafast adlı yeni bir performans modu ekledi. NVIDIA’nın Blackwell grafik yongalarında çalışan mod, ChatGPT Work ve Codex planlarını kullananlara OpenAI API üzerinden şimdiden sunuluyor. Şirket, modun standart Astra ayarına kıyasla token’ları 8 kata kadar daha hızlı üretebildiğini ve böylece etkileşimli yapay zekâ uygulamalarının daha hızlı yanıt vermesini sağladığını söylüyor.
Geliştiriciler için hız neden önemli?
Daha hızlı token üretimi, bir yapay zekâ asistanının kod yazması, araç çağırması, sonucu kontrol etmesi ve sonraki adıma karar vermesi arasındaki döngüyü kısaltıyor. OpenAI’nin çıkarım sistemleri sorumlusu Philippe Tillet, hız artışının ajanların düzenleme-test-hata ayıklama döngülerini daha çabuk tamamlamasına yardımcı olduğunu belirtiyor. Tek bir iş akışında çok sayıda çağrı yapıldığında hızlanma gecikme maliyetlerini de düşürebiliyor.
NVIDIA donanımı bu artışı nasıl sağlıyor?
OpenAI, Blackwell mimarisinden yararlanan yüksek performanslı çekirdekler yazabilmesini NVIDIA’nın “araçlara ve belgelendirmeye yaptığı kapsamlı yatırıma” bağlıyor. Şirket ayrıca GPU’larda çalışan çıkarım yazılımını sürekli iyileştirmek için kendi modellerinden yararlanıyor; bu da performansın kullanıma sunulduktan sonra da artabileceği anlamına geliyor.
Neden önemli
Kod üretme araçları geliştirenler daha hızlı yanıtlar alarak düzenleme-test-hata ayıklama döngüsünü kısaltabilir. Daha kısa döngüler, uygulamalardaki yapay zekâ destekli özellikler için kullanıcıların bekleme süresini de azaltarak genel deneyimi iyileştirir. Gecikmenin azalmasının son kullanıcıların maliyetlerini ne ölçüde düşüreceği ise henüz belli değil.
