OpenAI www.yaxin227.comOpenAI GPT-5路由功能：低成

要是Scaling Law作为引领大模型能力提升最为关键的衡量标准, 那“算力成本控制”便是大模型行业发展以及商业化的根基。

年初时, DeepSeek在国外开源社区率先爆火, 其中一个极为关键的缘由是, DeepSeek把几乎同性能模型的推理算力以及训练算力成本都削减到了10%以内。在GPT-4发布之后, MoE架构渐渐取代了稠密架构, 变成了几乎所有大模型开发商的默认选择, 其最核心的原因同样是能够切实降低模型推理的算力成本。

OpenAI 伴随着 GPT-5 发布, 第一次与用户见面的是“路由（routing）”功能, 其设计本意是代替用户, 将简单问题匹配到低消耗模型上, , 把复杂问题匹配到能力和算力消耗高的推理模型那里, 以此有效提升用户体验以及算力效率, 然而却变成了 AI 圈最知名的“降本增笑”事件。

即便GPT - 5发布已接近一个月, OpenAI却仍未能使所有用户皆满意 , 网友依旧在吐槽 , 称GPT - 5无法解决一些极为简单的问题。尽管随着OpenAI回滚了GPT - 4o , 还让用户得以手动在推理模型与基本模型之间进行切换 , 进而使大多数用户开始认同OpenAI所宣称的“GPT - 5性能显著强于先前的模型” , 然而Sam Altman自身也没办法否定 , GPT - 5的发明显实是破绽百出。

翻车最直接的原因是什么呢? 那便是, 他们大力推行的路由功能欠佳, 未能把用户的期待, 与对应的模型能力恰当匹配起来。

01

那么, 问题就出现了, 为何OpenAI要冒着GPT - 5一旦发布便可能遭遇失败的风险, 即便有这样的风险, 却依旧要强力推出路由功能呢？

首先, 第一个极为直接的缘由在于, 在GPT - 5发布以前, OpenAI并行推出了超过5个的模型, 从而使得用户能够依据自身需求去挑选恰当的模型。其次, 随着模型数量日益增多, 别说是普通用户了, 就算是GPT的重度使用者, 有时也很难判定使用哪一个模型对于自己当下的任务是最为合适的。

对于那立志要把GPT打造成AI时代超级APP的OpenAI而言, 绝不可能任由这样的情状持续下去。特别是大量未曾接触过大模型的普通用户, 替他们针对各异的任务挑选适配的模型, 这是OpenAI处于某一个时间节点务必得做到的事。

在另一个更深层次的原因方面, 从算力成本的角度来看, 自从推理模型出现以后, 每一回针对大模型的询问, 都得在推理模式以及非推理模式之间做一次选择。而这种调配“深度思考”能力的效率, 是决定大模型产品对算力使用效率的因素。

按照学术界针对推理模型以及非推理模型的研究成果来看, 推理模型与非推理模型存在着巨大的算力差异, 这种差异有可能达到五至六倍。对于复杂问题而言, 借助思维链等技术对其展开推理后, 内部所消耗的推理token数, 或许会高达上万个。

就延迟而言, 推理过程与非推理过程的差别更为显著, 依据OpenAI自行公布的数据, 借助推理模型去回应复杂问题所需的时长, 或许是非推理模型的60倍有余。

对于很多需要复杂推理的任务, 即便耗尽了巨大的算力, 花费了大量的时间, 给出的结果与准确性之间的差异常常在5%左右。为了这5%的性能提升, 究竟消耗多大的算力才恰当呢?

进行一道简易的算术题计算, 要是OpenAI把所有任务都按照默认的方式运用推理模型去达成, 在此情形下路由功能能够协助OpenAI辨别出10%的问题能够借助简单的非推理模型来完成, 如此一来就有可能把算力成本降低8%（其中推理与非推理的算力比值是5:1）。

倘若把这个比例再予以提升, 那个所能降低的算力成本将会愈发可观。对于OpenAI这样一家要为数量达数亿的用户提供服务, 并且算力供应依旧极为紧张的公司来讲, 路由功能能不能发挥效用, 这可以说是关乎自身商业模式能否持续的核心能力。

在行业方面, 针对于第三方架构载体, 像是那种OpenRouter, 它把那种“自动路由以及回退（fallback）”给打造成了基础建设方面的能力, 当主要的模型出现拥塞、限流或者内容被拒绝的情况的时候, 按照策略自动切换到次一级优化的模型, 以此来稳定用户的体验感受。像微软的Azure这样类型的AI算力云供应商, 也把不同模型之间的路由能力当作是AI云计算的一个主要卖点。

或许, 当GPT - 5发布以后, 对于OpenAI来讲最为关键的事便是于“质量 - 延迟 - 成本”的三角范畴内寻觅每一条请求的最佳平衡点。当下官方针对GPT - 5的设定以及“内置思考（built - in thinking）”相关叙述, 事实上就是将“路由 + 推理强度”打造成默认具备的能力, 并且在GPT这一端籍由“Auto/Fast/Thinking”给予了用户某种程度的可见性与可操控性。

02

为大模型打造一个高效的路由功能到底有多难？

关于这个问题, 国外媒体于一篇报道里向伊利诺伊大学厄巴纳-香槟分校的一位计算机专业的助理教授进行求证, 所获得的回答是, 这或许是一个亚马逊推荐系统级别的问题, 要众多专家全身心投入工作历经数年时间才能够取得一个令人满意的结果。模型系统层面的路由功能, 其本质是“多目标+强约束”的工程问题。路由并非仅仅比拼准确率, 还得在质量、延迟、成本、配额/峰值容量、成功率之间开展实时优化。

而从理论层面来讲, 语义等级的路由功能, 就效率方面而言, 远非此问题的最佳解决方案。DeepSeek于上周发布的DeepSeek V3.1, 正在试行把推理模型与非推理模型相融合, 于更深层次构建一个效率更佳的路由系统, 进而从根源上提升大模型的“推理 - 非推理”选择效率。

参照网友体验过后的感受, 新的混合推理模型跟之前的R1比起来, 具备更快的思考速度, 相较于DeepSeek - R1 - 0528, DeepSeek - V3.1 - Think能够在更短时间内得出答案。

并且, 在回答性能相类似的前提状况之下, 输出的长度出现了明显的降低情形: 在针对简单问题时, 新的推理模型所具备的推理过程存在着超过10%以上的缩短情况。就正式输出的那一部分而言, 新模型进行了大幅度的精简处理, 平均的字数仅仅只有1000字, 相较于R1 0528平均2100字的水准, 提高的幅度接近了一倍。

然而, 从另一方面来讲, 全新的混合推理模型却暴露出了一些不太稳定的状况, 举例而言, 它会时不时地在诸多输出里出现莫名其妙的“极”这个 bug, 在答案当中呈现出大量完全不相关的“极”。

并且, 于R1之上已然存在的那种中英夹杂情形, 好像愈发严重了, 恰似一名才回国没多久的留学生那般, 在诸多中文任务当中会显得颇为突兀, 很是不协调, 很是扎眼, 很是格格不入。

就算是像DeepSeek这般国内处于顶尖地位的大模型团队, 把“推理 - 非推理”选择功能放置到模型内部, 在模型稳定性方面也会出现一定程度的状况。OpenAI在其首个推出的尝试高效调度“深度思考”能力的模型上出现了不同程度的失误, DeepSeek在自身首个推出的试图高效调度“深度思考”能力的模型上同样出现了不同程度的失败, 这从侧面反映出要处理好这个难题的困难程度。

03

OpenAI仍处于一种状态, 什么状态呢, 是对于算力有着“极度渴求”的状态, 而这是提高效率的另一面。

年初, DeepSeekV3和R1被推出了, 这引发了全世界对于英伟达等算力供应商未来前景的担忧, 短短几个月之后, 这种担忧就演变成了“AI成本悖论”, token单价下降了, 然而模型的性能却在不断成长, 这就使得原本交由模型处理会显得不经济的任务, 现在也能交给大模型处理了, 模型能够处理的任务变得更多样与复杂, 进而会进一步推高token总量的需求。

OpenAI正着手推进那项被称作代号Stargate的基础设施扩张计划, 在2025年7月的时候, OpenAI同Oracle宣告于美国增添4.5 GW数据中心能力。

往日, 外国媒体亦有报道, OpenAI正在寻觅印度当地的合作对象, 并且打算于新德里设立办公地点, 将印度（此乃其第二大用户市场）的用户数量增长同本地的算力配备进行衔接, 在印度建造最少1Gw规模的数据中心。

“AI 成本悖论”这一情况, 一方面持续促使英伟达以及 AI 云服务商的业绩不断上升, 与此同时, 它还针对像那种具备能够有效削减模型算力需求作用的“路由”功能, 提出了更为严苛求高要求。

Sam Altman 再三着重强调, “2025 年底上线的 GPU 超过 100 万片”这个目标, 并且将长远愿景对准“一亿 GPU 量级”。就这样的表态而言, 从侧面能够表明: 就算推理单价处于下降状态，然而更复杂的任务和更高的调用量致使大模型的“总账单”并不会自动地降低——必须要依靠路由把昂贵的推理时段“留给更有需求的人”。

要是从大模型的第一性原理开始出发, 所有大模型公司所追求的至终极标准, 便是持续提升“算力兑换智力”的效率。并且, 高效调度“深度思考”的能力, 在推理大模型的时代, 某种程度上决定了大模型公司在系统和商业效率以及用户体验方面能否领先于全行业。