شرکت Fireworks AI می‌گوید DeepSeek V4 Pro 0813 در آزمون‌های کدنویسی این شرکت، در بنچمارک‌های SWE-Bench Verified و LiveCodeBench v6 امتیاز بالاتری از Fable 5 گرفت. Fireworks هزینه هر مسئله حل‌شده در SWE-Bench را برای DeepSeek برابر با $0.309 و برای Fable 5 برابر با $0.808 گزارش کرده است. این هزینه‌ها در LiveCodeBench به‌ترتیب $0.040 و $0.225 بوده‌اند.
Fireworks، DeepSeek را در چهار خانواده بنچمارک با Kimi K3 و Fable 5 مقایسه کرد و از همان مجموعه ارزیابی‌ای استفاده کرد که پیش‌تر برای Kimi K3 به کار برده بود. به‌گفته این شرکت، DeepSeek در SWE-Bench Verified (با 500 مسئله) امتیاز 95.2% و در LiveCodeBench v6 (با 100 مسئله) امتیاز 92.0% گرفت. امتیازهای Fable 5 در این دو آزمون به‌ترتیب 85.4% و 91.0% بود.
نتایج در زبان‌های مختلف فرق می‌کند
DeepSeek در همه آزمون‌ها پیشتاز نبود. در Aider Polyglot v1، امتیاز Fable 5 برابر با 88.0% و امتیاز DeepSeek برابر با 73.8% بود؛ در Terminal-Bench 2.1 نیز Kimi K3 با امتیاز 80.9% پیشتاز شد و DeepSeek و Fable 5 هر دو 76.4% گرفتند. Fireworks همچنین گزارش کرد که DeepSeek در وظایف Java در Aider Polyglot امتیاز 48.9% گرفت، درحالی‌که امتیاز Fable 5 برابر با 74.5% بود.
در عنوان جدول بنچمارک‌ها آمده که نتایج «با مسیریاب‌های اوراکل» به دست آمده‌اند. Fireworks مسیریابی اوراکل را روشی تعریف می‌کند که در آن هر وظیفه با چند مدل آزمایش می‌شود و پس از پایان آزمون، بهترین نتیجه انتخاب می‌شود. این روش سقفی نظری برای عملکرد است و سامانه مسیریابی‌ای نیست که مشتریان بتوانند بدون تغییر به کار بگیرند. Fireworks می‌گوید در مجموعه‌ای ترکیبی شامل 409 وظیفه، مسیریابی بین DeepSeek و Fable 5 به دقت 92.4% رسید؛ درحالی‌که دقت Fable به‌تنهایی 86.6% بود. هزینه هر وظیفه در این دو حالت به‌ترتیب $0.279 و $4.510 گزارش شد.
Fireworks چه امکاناتی ارائه می‌دهد
Fireworks می‌گوید DeepSeek V4 Pro از طریق API بدون سرور و استقرارهای اختصاصی در دسترس است و مشتریان می‌توانند با تنظیم دقیق نظارت‌شده، تنظیم بر پایه ترجیحات یا تنظیم دقیق تقویتی، نسخه‌های سفارشی آن را آموزش دهند. منبع همچنین به پنجره زمینه 1-million-token و قابلیت فراخوانی ابزار اشاره می‌کند. نتایج بنچمارک‌ها به‌طور مستقل تأیید نشده‌اند.
Fireworks یادآور می‌شود که شیوه اجرای آزمون بر عملکرد اثر گذاشته است: این شرکت دریافت که شروع کار با مجموعه‌ای حداقلی از ابزارها، در مقایسه با شروع با یک فهرست استاندارد و بزرگ‌تر، به فراخوانی‌های ابزار باثبات‌تری منجر می‌شود. این نکته‌ای کاربردی برای توسعه‌دهندگانی است که می‌خواهند امتیازهای گزارش‌شده را بازتولید کنند.
چرا مهم است
برای تیم‌هایی که هزینه اجرای عامل‌های کدنویسی را می‌پردازند، هزینه‌های گزارش‌شده از سوی Fireworks نشان می‌دهد DeepSeek V4 Pro می‌تواند برای وظایفی مانند SWE-Bench و LiveCodeBench گزینه‌ای ارزان‌تر باشد. اما این نتایج حاصل آزمون‌های خود Fireworks هستند، عملکرد بسته به بنچمارک و زبان فرق می‌کند و بهترین نتیجه مسیریابی نیز به روشی متکی است که پس از انجام آزمون اجرا می‌شود و مشتریان نمی‌توانند مستقیماً به کار بگیرند.
