Oossa

OpenAI حالت Astra Ultrafast را با تراشه‌های NVIDIA Blackwell عرضه کرد

GPT-6 Astra Ultrafast شرکت OpenAI روی GPUهای NVIDIA Blackwell اجرا می‌شود. NVIDIA می‌گوید تولید توکن در آن تا هشت برابر سریع‌تر از حالت استاندارد Astra است.

نویسنده: منتشرشده توسط Oossa: 2 دقیقه مطالعه

James Harrison · Unsplash

به‌گفته NVIDIA، GPT-6 Astra Ultrafast شرکت OpenAI از طریق API شرکت OpenAI و برای کاربران واجد شرایط ChatGPT Work و Codex در دسترس است. این مدل روی GPUهای NVIDIA Blackwell اجرا می‌شود. NVIDIA می‌گوید Ultrafast می‌تواند توکن‌ها را تا هشت برابر سریع‌تر از GPT-6 Astra در حالت استاندارد تولید کند. در این اعلامیه شرایط یا معیارهای این مقایسه ذکر نشده است؛ بنابراین باید این عدد را حداکثر سرعت اعلام‌شده از سوی شرکت دانست، نه افزایش سرعتی که برای همه درخواست‌ها تضمین شده باشد.

این مدل عمدتاً برای کارهایی طراحی شده که پاسخ‌ها و فراخوانی ابزارها در آن‌ها مرتب تکرار می‌شود. برای نمونه، یک عامل کدنویسی می‌تواند کد بنویسد، ابزاری را اجرا کند، نتیجه را بررسی کند و درباره گام بعدی تصمیم بگیرد. NVIDIA می‌گوید تولید سریع‌تر می‌تواند زمان انتظار را کوتاه کند و برنامه‌های تعاملی را پاسخ‌گوتر کند. این شرکت نگفته است کاربران در یک کار مشخص چقدر در زمان صرفه‌جویی خواهند کرد.

سرعت بیشتر چطور حاصل می‌شود؟

OpenAI می‌گوید از مدل‌های خود برای کمک به بهینه‌سازی نرم‌افزار استنتاجی استفاده کرده که روی GPUهای NVIDIA اجرا می‌شود. استنتاج فرایند تولید پاسخ با استفاده از یک مدل آموزش‌دیده است. به‌گفته NVIDIA، این کار با بهره‌گیری از قابلیت برنامه‌پذیری Blackwell، امکان توسعه و پیاده‌سازی بهبودهایی در آن نرم‌افزار را فراهم می‌کند. فیلیپ تیله، مسئول استنتاج در OpenAI، گفت این شرکت با استفاده از ابزارها و مستندات NVIDIA، مدل‌هایش را در برنامه‌نویسی برای GPUهای Blackwell و Rubin توانمندتر کرده است و Astra می‌تواند از این دانش برای تولید کرنل‌های پربازده استفاده کند؛ کرنل‌ها نرم‌افزاری هستند که عملیات را روی سخت‌افزار اجرا می‌کنند.

در این اعلامیه از این کار به‌عنوان فرایندی ادامه‌دار یاد شده است: OpenAI می‌گوید پس از استقرار نرم‌افزار هم می‌تواند به بهبود آن ادامه دهد. NVIDIA همچنین استدلال می‌کند که یک پلتفرم برنامه‌پذیر به تیم‌ها اجازه می‌دهد با تغییر بارهای کاری، زیرساخت را برای آموزش، استنتاج و یادگیری تقویتی دوباره به کار بگیرند. این مطلب وبلاگی نتایج آزمون مستقل، تنظیمات دقیق معیارهای سنجش یا جزئیات سخت‌افزار استفاده‌شده برای Ultrafast را ارائه نمی‌کند.

چه کسانی می‌توانند از آن استفاده کنند؟

توسعه‌دهندگان می‌توانند از طریق API شرکت OpenAI به GPT-6 Astra Ultrafast دسترسی پیدا کنند. NVIDIA می‌گوید کاربران واجد شرایط ChatGPT Work و Codex هم می‌توانند از آن استفاده کنند، اما در این مطلب معیارهای واجد شرایط بودن را مشخص نکرده است. این شرکت برای اطلاع از قیمت و جزئیات پیاده‌سازی، توسعه‌دهندگان را به راهنمای Ultrafast ارجاع می‌دهد؛ خود مطلب وبلاگی قیمتی اعلام نمی‌کند و توضیح نمی‌دهد هزینه‌ها در مقایسه با Astra Standard چطور است. در نتیجه، یک پرسش کاربردی مهم بی‌پاسخ می‌ماند: تولید سریع‌تر می‌تواند در جریان‌های کاری حساس به زمان مفید باشد، اما کاربران برای ارزیابی هزینه و دسترسی باید راهنما را بخوانند و جزئیات استفاده خود را بررسی کنند.

چرا مهم است

برای توسعه‌دهندگانی که از عامل‌های کدنویسی یا جریان‌های کاری مبتنی بر ابزارهای دیگر استفاده می‌کنند، پاسخ‌های سریع‌تر می‌تواند مکث میان مراحل را کاهش دهد؛ هرچند این مطلب میزان صرفه‌جویی در کارهای واقعی را مشخص نمی‌کند. قیمت API و شرایط رسیدن به سرعت حداکثرِ اعلام‌شده، یعنی تا 8 برابر، ارائه نشده است؛ بنابراین کاربران تنها بر اساس این اعلامیه نمی‌توانند هزینه را ارزیابی کنند یا انتظار داشته باشند همیشه به حداکثر سرعت اعلام‌شده برسند.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.