「1 亿 TOKEN 俱乐部」挤爆了,AI 的燃料不够了|对谈于文渊:阿里云百炼技术负责人
摘要
- 节目开场把 Claude Code 和 OpenClaw 的流行作为背景;于文渊说百炼上线以来 Token 增长基本按月翻倍,Open Cloud 与 Cloud Code 确实尤其在 Agent 场景加速了增长。 这些 Token 主要来自高质量、前沿模型;千问 3.5 发布仅两周,峰值 Tokens per Minute 已达到平台历史上所有文本模型从未达到的高度,AI 正从聊天工具进入生产力系统。
- “一亿 Token 俱乐部”已不足以衡量需求,真正需要关注的是 Token 质量、峰值容量,以及以更好的体验和更低成本把 GPU 转成 Token 的能力。 0.6B 小模型、Embedding 与深度思考 SOTA 模型的 Token 并不等价;每天都有数以万计的人加入这一重度消耗群体,于文渊甚至建议把门槛提到十亿,同时关注首包延时、生成速度、削峰填谷和 GPU 利用率。
- AI 会同时改写云的客户与架构:未来 3 到 5 年,大量今天靠人力完成的事情会交给 AI,计算、存储、网络和调度方式也会与今天完全不同。 百炼的工程使命是在保证稳定性的前提下“让每一个 GPU 不要有一秒钟闲下来”,让千卡到百万卡对用户表现成一个 API 可调用的弹性集群;未来使用云的主体甚至可能是 Agent。
- 于文渊最激进的 MaaS 判断是“没有任何情况需要自建”,因为企业以为自建能获得的成本、安全和灵活性,恰是 MaaS 更可能解决的三件事。 每 Token 优化、GPU 填充率和多模型切换都需要持续的基础设施投入;他还说机密推理可以让平台看不到模型文件与请求、密钥由客户掌握。但他明确这是只代表百炼、不代表阿里云的个人“暴论”。
- AI Coding 的危险不是模型不会写,而是企业把“AI 生成代码比例”设成目标,跳过工程师形成判断力所需的过程知识。 于文渊认可原型开发,却认为 mission-critical 代码“暂时 AI 还是不行”;新人若从第一天就把问题交给 AI,可能只能接受 99% 的正确,永远找不到那 1% 的问题。
- 最容易被 AI 大幅提效的未必是与产品和用户距离近的前端工作,反而可能是操作系统、数据库和文件系统等目标可形式化、测试清楚的系统工作。 去年一篇 FAST 论文的例子是:规范足够明确时,32B 模型也能写文件系统;于文渊更认可先写清晰需求或规范、再让 AI 实现的“back coding”。与人越近、答案越开放的产品问题越难,MaaS 工程也因模型和底层资源持续变化而仍是开放问题。
- 中国 AI 的硬约束是算力供给总量,不只是芯片单点性能,于文渊把它比作“高速公路上的车已经跑起来了,油还不够”。 他相信中国能够做到算力自主可控并把基础设施建成世界第一,但当前供给缺口会严重影响 AI 发展;终局可能是“水、电、煤气、模型”式 Utility,不会形成很强的单一模型垄断,而是由不同速度、效果和功能的 AI 组成基础设施。
精读
1. Token 曲线仍在抬升,Agent 只是最新一轮加速器
节目开场,主持人把 Token 不够用归因于更高性价比算力仍然不足;于文渊则说,百炼的 Token 需求从上线第一天起就没有停下来过,增长基本按月翻倍。主持人提到 Claude Code 和 OpenClaw;在后续追问中,于文渊称 Open Cloud 与 Cloud Code 确实加速了增长,尤其是 Agent 场景。
千问 3.5 发布两周,峰值 Tokens per Minute 已达到百炼历史上所有文本模型从未达到过的高度。即使阿里有一位对算力投入非常激进的 CEO,模型研发与客户服务叠加后依然不够用。
视频生成也曾呈现同样机制:模型跨过可用门槛,从 Demo 变成真正可用于市场的产品,需求便突然跃升。因此他很难预测短期的下一个爆发场景,只笃定现在“仅仅是一个开始”。
Token 数本身有误导性:0.6B 小模型、Embedding 模型和深度思考 SOTA 模型的单个 Token,在算力、智能和水平上都不等价。每天都有数以万计的人加入每天消耗一亿 Token 的重度用户群体;他没有给出存量,只说这个数字每天都在增加,并认为俱乐部门槛应升至十亿。
2. 云的下一批客户可能不是人,而是 Agent
于文渊给出的 3 到 5 年判断很重:大量今天靠人力完成的事情会由 AI 处理,数据中心形态及计算、存储、网络和调度系统也会与今天“完全不一样”。
当主持人追问既有云格局是否会被 Neocloud 改写时,他没有下定论,只确认洗牌已露出趋势。所有云厂商都得回答同一个问题:未来云的用户是不是都不是真人,而是 Agent。
在保证稳定性和安全性的同时,百炼希望把千卡、万卡、十万卡乃至百万卡的 GPU 都充分利用起来,“让每一个 GPU 不要有一秒钟闲下来”,让用户只通过一个 API 获得极致弹性与稳定性。
3. 国际化既能填平负载,也受到增长时差约束
主持人提出用时区差异实现 GPU 全天运转;于文渊认同“Token 出海”非常重要,但国内外业务难以齐头并进。他举例说,国内外业务速度可能只差两个月,国际业务占比却仍可能只有个位数百分比,相比整体大盘很小。
最终中台必须同时服务国内与国际市场,但地缘政治、合规等问题都要克服。他仍判断,中国厂商的 AI 出海是“大势所趋、停不下来”的方向。
百炼看到的落地并不只在 Coding:某饮料厂商把机器人放进经销商群,经销商用自然语言说品类和箱数,机器人结合历史购买信息直接补货。界面不再是新系统,而是“像和一个真人说话”。
4. MaaS 的壁垒是端到端协同,而非单纯转售模型
于文渊把百炼的差异化归于端到端协同:阿里云多年积累的基础设施、规模和产品线,同一实验室的兄弟伙伴提供的模型,以及平头哥芯片团队,共同围绕模型、推理服务框架和硬件进行打磨。模型上线前还会持续调试,而不是把模型当成黑盒。
他的质量承诺很具体:千问所有模型 Model Card 上的分数,在百炼 API 上“一定都可以做到”。客户自行部署千问或其他开源模型时,效果、质量和速度未必能复现。
主持人追问平台处在 API 中间究竟有多厚;于文渊的回答是,千问 API 本身就是百炼 API,而真正的价值在体验、成本、模型效果和容量:“算力转换成 Token,谁能转得更高效,谁有更多的算力。”
百炼也不是单模型入口:除托管国内开源模型外,用户还可以用百炼的 API Key 调用 MiniMax、Kimi、SiliconFlow 的 DeepSeek API,甚至调用推理厂商的模型。平台服务的是客户需求,不要求客户只用千问。
5. “没有任何情况需要自建”是对三个常见理由的反转
面对企业何时应私有化部署的问题,于文渊先承认被问倒,随后给出只代表百炼、不代表阿里云的个人“暴论”:“我认为没有任何情况需要自建。”企业采购 GPU 通常为了成本可控、安全和灵活,他认为 MaaS 反而更能满足三者。
成本不能只看采购价:企业还要持续追赶模型和算法变化、优化每 Token 成本、填满 GPU,并平衡多模型的服务质量。每家公司都安排基础设施工程师持续做这些优化,“其实是很难的”。
安全上,他声称云厂商看不到、也不会看用户数据;百炼还在推广机密推理,使平台看不到模型文件和所有请求,端到端密钥掌握在客户手中。这是他所说的由密码学提供的保证。
灵活性同样倾向 MaaS,因为“今天最大的确定性其实是不确定明天的 AI 需要什么”。模型架构和推理效率持续变化,固定采购的 GPU 并不像企业想象得那么灵活。
6. AI Coding 的上限取决于人是否保留判断力
于文渊仍建议学生学习计算机。他引用一位实验室导师转述的 1980 年代判断:“未来的人有两种:一种是被计算机使用的人,一种是使用计算机的人。”他在 2000 年代读大学时认为这句话仍然成立,今天也仍然成立。
但他的反直觉建议是,新人不要让 AI 写太多代码。他借用关于实习医生的例子说明:如果一个人从接触第一个病人起就只接受 AI 结论,即使 AI 有 99% 的正确率,他也没有经验找出剩下 1% 的错误。
主持人举出 Cursor 的趋势数据:无脑使用 Tab 补全代码的比例从约 20%—30% 反转到 70%—80%。于文渊说,在 Code Review 时看到代码明显由 AI 生成,自己会“很慌”。Vibe Coding 做 Prototype 已经够用,但生产代码必须理解每一行是否完成预期,以及内存泄漏、文件句柄等副作用是否可接受。
他认为把 AI 生成代码比例定成企业目标“非常危险”,因为公司历史、创始人风格和过程知识无法靠几句提示词传递。更合理的叙述是:一个 AI 可以完成一个人原来需要几个工程师才能完成的事情,而不是一个 AI 替代几个工程师。使用 AI 的前提仍是自己先具备完成这项工作的能力。
他更认可“back coding”:先写清晰的需求文档或规范,再让 AI 实现。这样对架构师提出了更高要求,因为必须把事情讲清楚;但今天不能指望只用两三个提示词就把复杂工作做好。
7. 形式化工作先被提效,算力最终成为“水、电、煤气、模型”
主持人用宜家家具概括过程知识:买到了材料和说明书,仍不如装过许多次的师傅。即使 AI 将来做到 99.9%,程序员也要把能力建立在它做不到的 0.1% 上;于文渊认同,熟练度来自反复完成过程本身。
主持人提出,真正能被替代的也许是写得最好的人;于文渊补充说,与产品和用户距离较近的前端工程师,往往需要让用户真正使用起来的 Know-how,因此更难被取代。相反,操作系统、数据库和文件系统等系统工作目标更清晰,代码库质量、测试用例和结果也更容易定义,可能更容易被 AI 大幅提效。
去年 FAST 有一篇发表在顶级存储会议上的论文:当规范足够清楚时,32B 模型可以写文件系统。但于文渊强调,这不意味着只用两三个提示词就能做好;MaaS 工程在今天仍是开放问题,因为模型、底层资源和算力变化太快。
中国算力问题像石油:关键不是中国能不能产石油或有多少油田,而是每天的需求和每天能够供给的石油是否匹配。他对国产算力有信心,相信中国能够做到自主可控,并把基础设施建成世界第一;但当前供给缺口会影响中国 AI 的发展,英伟达供应或断供的影响“很大,非常大”。
英伟达是事实标准;平头哥是他亲自使用过、认为开发体验“非常丝滑”、效率很高的团队。摩尔线程和沐曦他个人没有用过,因此没有进一步评价。
轻质油或重质油“总有人能炼出来”,关键仍是总量供给。他反问:业务明年能增长 10 倍,为什么不能有 100 倍的算力?即使给 1,000 倍算力,他也相信训练更强模型和让更多 AI 应用变便宜都能把它消耗掉。
对主持人问到的 2026 年年底场景,他只敢确定 Agent 与 AI 生成会是今年最大的增长来源之一,不判断谁更多。对 Neocloud,他不特别看好直接转售英伟达或类似算力的公司,更看好屏蔽硬件与复杂性的 AI 原生服务,例如 Firefox、Together 这类做相关服务的公司,以及沙箱托管、云桌面、浏览器、搜索和 Agent 可观测性等服务;他还提到 Datadog 一类的机会。
终局可能不会形成很强的模型垄断,而会类似电力系统:用户不区分核电或水电,只需要插座里的 220 伏交流电;后台则容纳不同速度、效果和功能的 AI。水、电、煤气之后,模型也会成为基础设施级的 Utility。