Cloudflare已通过AI Gateway公开测试Auto Router。用户将模型设为`cloudflare/auto`后,内置分类器会判断每个请求应由哪个模型处理。路由分两步进行。首先,AI Gateway会建立候选模型池,剔除无法处理请求格式,或未通过凭证、计费或访问权限检查的模型。随后,一个运行在边缘Workers AI上的多头分类模型会从四个维度评估请求——复杂度、模糊程度、重要性以及对先前上下文的依赖程度,并分别打出1至5分。
分类器只查看对话的最新一轮,文本最多为8 KiB。评分完成后,系统会将各项评分与基准测试结果结合,并套用“效用 = 预期质量 – 自适应成本惩罚”这一公式。最终选出的模型会兼顾质量和价格,对难度更高的任务给予更高权重。
基准测试结果
在Cloudflare自有的97项任务基准测试中,与始终使用单一低价模型相比,Auto Router以大约三分之一的支出提升了10个百分点的可靠性。Cloudflare表示,团队可以自行决定优先考虑成本还是可靠性,而大多数路由产品并未提供这一选项。默认模型池包括Claude Opus 5、Sonnet 5、Fable 5、GPT‑5.6 Luna、Sol和Terra,以及Grok 4.5。Opus 5.5和GPT‑6 Sol等更高阶模型只能通过特定请求头调用。
实际使用方式
每个响应都会带有`cf-aig-routed-model`和`cf-aig-routing-reason`两个请求头,开发者可以据此审查模型的选择原因。开发者可通过`cf-aig-allowed-models`和`cf-aig-allowed-providers`请求头缩小每次请求的候选范围,不过目前尚不支持保存路由配置。若没有会话ID,连续几轮对话可能会被发送给不同模型,从而失去提示缓存,并产生随上下文长度增加的“切换惩罚”。
Auto Router在公测期间免费,Cloudflare尚未公布后续定价。目前该功能支持Chat Completions和Responses API,但不支持WebSockets。未来还将推出名为`cloudflare/auto-best`的版本,它会选择预期质量最高的模型,不考虑成本惩罚。
为什么重要
对于开发AI应用的开发者来说,Auto Router可以自动为每个请求匹配兼顾成本与性能的模型,有望在保持输出质量的同时降低云服务账单。不过,由于路由按对话轮次进行,且没有会话ID时模型可能发生变化,团队需要妥善设计API,以便在需要保持模型行为一致时保留上下文。