fal AI 和 Fireworks 发布了一篇技术深度解析,介绍他们的新型 EAGLE-4 推测解码系统。博客还公布了 Prompt Enhancement SpecBench,这是一个公开基准,包含 400 条提示词,涵盖文生图、图生图、文生视频和图生视频任务。在 NVIDIA B300 GPU 上进行的测试中,EAGLE-4 Harness 在 Fireworks 基准测试中的批量大小为 1时,达到了每秒 660.6 个 token,比次优方法快 1.63 倍。基于树结构的验证还将创意类提示词的接受长度最多提高了 26 %。这项工作的目标是降低提示词增强步骤的延迟;如今,这一步骤已成为快速图像和视频模型端到端耗时的主要部分。
为什么重要
提示词扩展速度更快,能让开发者在图像和视频生成器逐渐接近实时的同时,维持交互响应速度。