主题 先锋 趋势 方法 作者
返回

硅谷坐标 x 谷歌DeepMind研究副总裁 Ed H. Chi(纪怀新):个性化通用助理的未来

·硅谷坐标 Silicon Valley Vector

正在生成长图…

本篇主题 个人AI助理落地与变现 大模型推理成本优化 专有小模型与通用大模型 开源闭源大模型对决 AI原生应用商业化陷阱 长上下文与外部记忆瓶颈
本篇先锋 Ed H. Chi(纪怀新)

摘要

  • Ed Chi 判断通用助理仍处“很初期的阶段”,并给出 6–12 个月的时间表:届时通用助理与 AI Mode Search 之间的关系和 interface 会更清楚。 权限与 reliability 是卡点——大家会担心把信用卡交给通用助理后,它到处乱买东西;至于它帮人买机票究竟买对还是买错,这类实际结果的数据至今还没有真正出现。他用 Grandma Test 描述通用助理的成熟标尺:“当你的 grandma 指着你的机器人骂它‘你怎么这么笨’,你就知道通用助理的时代真的到了。”
  • 他强调,经济活动最终要看 capability over cost;若模型能力普及,成本控制可能成为最重要的护城河。 Google 的优势在于 full stack——从模型、application、hyperscaler、token factory 到芯片与能源控制,并有能力以最低成本提供 token。Ed 也指出,现阶段很多人还没有关注 cost。
  • 关于模型竞争力,他认为 Google 不可能放弃模型开发,理由是用户期待 Google 拥有自己的模型技术。 近几个月发布偏小模型是刻意为之——通用助理和个人化应用需要小模型;更大的模型也在开发中。他还提到湾区一些 AGI-pilled tech bros 信奉 software took over the world,因此热衷 ultra-size model;他个人不希望手机应用都跑超大模型,因为计算能耗太高。
  • 他认为,把能力商品化或开源与闭源模型差距的走向说成定论还不成熟。 开源模型能追上,其中一个原因是借助他合著的 Chain-of-Thought 论文所述方法研究并复制推理方式;大厂正在设法隐藏推理链,以降低被复制的可能性。Multimodality 等能力目前也还看不出会被商品化。市场并非整体都是泡沫,但不同领域可能各有泡沫;Physical Intelligence 可能有不切实际的预期,很多模型的 visual reasoning 也很糟糕。
  • 若今天创业,他认为模型能力的差距若缩小,value creation 会更多流向 application 和 token factory。 Application 端看用户 lock-in、stickiness 与体验;hyperscaler 端则涉及能源用量、芯片设计、memory 与 computation 的关系,以及 on-device 计算的占比——这些仍是 open questions。
  • Memory 是他眼中尚未被充分理解的瓶颈:它不只是存取,也涉及 ranking。 Transformer 的 context buffer 目前约一两百万 tokens,在他看来完全不够;从认知角度,memory 也是一种 program。至于 DRAM、NAND、HDD 的供应短缺,他认为 memory 与 computation 可以互相转换,长期投资规划也能降低对一时短缺的担忧。
  • 商业化的下一波,他看好 consumer 崛起——Anthropic、OpenAI 的收入有很多由 enterprise subscription 带动,而 consumer services 是他留在 Google 的原因之一。 推理能力从三四年前解决小学生数学题、当时 accuracy 只有 33%,发展到如今能解 Navier–Stokes 这样的数学问题,但能力仍集中在特定领域。AlphaGo 之后下棋的人反而更多;大语言模型时代,Google 也看到 search 应用增加而非减少。他认为,即使解决了 software 问题,也不代表所有问题都解决了。

精读

1. 推理三四年登顶:从小学数学 33% 到 Navier–Stokes,但仍集中在特定领域

  • Ed Chi 的开场坐标:过去 30 年、尤其前 20 年,关注的很多是 recommendation 和 search;近 10 年,借助神经网络的 next-token prediction 与 Chain-of-Thought,才开始发掘机器的基本认知与推理能力。下一步的学术问题包括更复杂的 reasoning、memory,以及 RSI(recursive self-improvement)。
  • 他给的跨度最具冲击力:写 CoT paper 时,模型解决的是小学生数学问题,accuracy 只有 33%;如今最大的模型已能解决 Millennium Prize Problems 中的数学问题,例如 Navier–Stokes equations。他认为推理能力在三四年间已达到一个巅峰。
  • 但他随即补充,这些推理能力仍集中在特定领域。他以自己的高尔夫爱好举例:模型对高尔夫原理、球杆、球和装备的理解及推理能力究竟如何?“这些都和数学不一样”,做应用前必须弄清模型在不同领域的推理水平。

2. 通用助理极早期:Grandma Test 与六到十二个月的 interface 走向

  • 主持人曹卿云提到 Instinct 和刚发布的 Muse Spark 带来的个人助理讨论。Ed 的框架是:Google 的 AI Mode Search 属于 consumer service;大型语言模型应用中最大的一类事实上从搜索开始,后来发展成 AI Mode 这样的搜索或问答方式。Muse、Instinct 则想从问答走向能订机票、订旅店、买东西的通用助理。
  • 卡点在权限与 reliability:大家会担心把信用卡交给通用助理后,它到处乱买东西。2026 年初,OpenClaw 这样的探索让大小厂开始试水;但让助理买机票究竟买对还是买错,这类实际结果的数据还没有真正出现。他预测,未来 6 个月到 1 年,通用助理与 AI Mode Search 的关系和 interface 会更清楚。
  • 谈到产品护城河,他强调用户体验与容错:consumer 产品只要犯过一次严重错误,用户就可能改变看法。他在台湾参加另一个 podcast 时提出过 Grandma Test:有一天,grandma 指着机器人骂它“你怎么这么笨”,就知道通用助理的时代真的到了。由于 grandma 对通用助理的期待很高,严重错误会让人觉得产品有问题;目前大家仍在探索这个边界。
  • 对“现象级产品会从哪家公司出来”的问题,他认为来源有时没那么重要,关键是如何普及、什么才是正确的人机 interface。初创公司做出产品后也可能被大厂收购;他希望行业能有一个 healthy ecosystem,让大家都能探索。

3. Google 不会放弃模型开发;长远看要衡量 capability over cost

  • 面对主持人关于 DeepMind 人事变动与模型发布节奏的提问,Ed 说 Google 没有停下模型开发。近几个月发布的模型偏小,是因为通用助理和个人化应用需要小模型;更大的模型也在开发中。他形容团队人才济济,但想做大模型的人多、资源永远不够。
  • 他表示,Google 用户会期待 Google 不用别人的模型或 open-weight 模型,而是拥有这项技术;从这个角度,Google 不可能放弃模型开发。
  • 大小模型之间的资源分配没有唯一答案。他把 ultra-size model 的热潮与湾区一些 AGI-pilled tech bros 的信念联系起来:他们相信 software took over the world,做好 coding 和 software 就能 take over the world。但他个人不希望手机应用都用超大模型,因为计算能耗太高。
  • 主持人提出 CapEx 投入和现金流压力后,Ed 从长短期投资角度回应:短期公司会盯着 quality、accuracy;以 5 年、10 年为尺度投资,则要想清楚应优化什么 metric,不只看 capability,也看 capability over cost。他说 Google 会多重布局:模型、application、chip 和整个 full stack 都在创新;公司有能力以最低成本提供 token。若模型能力变得普及,cost control 可能成为最重要的护城河。

4. Memory 不只是存取,也涉及 ranking;context buffer 一两百万 tokens 远远不够

  • 对 DRAM、NAND、HDD 可能短缺的问题,Ed 提到过去的研究指出 memory 与 computation 可以互相转换:有长远投资计划,就不必太担心一时的 memory 短缺,因为可以用 computation 代替。Memory 研究还要考虑计算方法需要多少 memory 和 bandwidth,以及神经网络设计是否应该降低 memory requirement。他举例说,Timi 做出的 Delta Attention Model,其计算和内存用法不同于 full attention、O(n²) attention 或 sparse attention。
  • 这还只是 sequential Transformer model 的 memory 问题;个人化应用、KV cache,以及日常所说的 memory 也有各自的问题。从人类认知角度看,memory 也是一种 program:它不是没有生命的东西,而是不断变化、指导事情如何发生,并用来编程 AGI machinery 的 program。研究因此也关注底层 memory 运用与 context buffer 里的信息整理。
  • 他指出两个 bottleneck:Transformer 的 context buffer 目前大约能做到 1 million 或 2 million tokens,在他看来完全不够;更根本的是,大家常把 memory 看成存储与提取的 retrieval 机制,而没有把它当作人类认知或思考能力的一部分。
  • 他的修正是:“memory 事实上是一个 ranking 的问题。”比如提到 Paris,人会想起去巴黎时相关的记忆中较重要的内容,而不是所有与 Paris 有关的东西一下子涌出来。
  • 对 memory layer 初创公司能否立足的问题,他说硬件领域已有一些大厂之外的新想法,也有大厂在做;memory 与 computation 的关系未来几年可能会有新发展。

5. 能力差距缩小会把价值推向 application 和 token factory;开源追赶部分得益于 CoT 方法

  • 他的创业方向判断是:模型 capability 开始有一点 commoditize 的迹象,但并非完全商品化。如果最好与最差模型之间的 gap 缩小,value creation 就会更多流向 application 和 token factory。Application 端要看用户 lock-in、stickiness 与体验;hyperscaler 端涉及能源用量、芯片设计、memory 与 computation 的关系,以及多少计算会在 on-device 完成——这些仍是 open questions。
  • 谈到开源模型追上闭源模型,他说原因之一是自己合著的 Chain-of-Thought 论文:研究者用 CoT 方法发掘模型里的思维链,再研究模型的思考模式、复制其推理方式。大厂如今也在设法把推理链藏起来,降低被复制的可能性;multimodality 等能力也可能很难复制。他认为,把能力的商品化趋势说成定论还不成熟:有些 capability 会因蒸馏变得更 commoditize,有些目前还看不出会 commoditize,相关问题仍有很多 debate。
  • 对 AI 市场是否有泡沫,他不认为整体都是泡沫,但认为不同地方可能有不同泡沫;例如 Physical Intelligence 可能存在一些不切实际的预期。他还指出,很多模型的 visual reasoning capability 很糟糕。
  • 他认为现实与信念并不总是一致。如果相信 software 问题一解决,所有问题就都解决了,那么他前面谈到的很多事就不适用;但如果认为解决 software 仍不等于解决所有问题,“我们还有很多戏可以唱”。

6. 下一波看 consumer:硬件与人机 interface 仍有探索空间

  • 谈到 coding 之后的机会,Ed 说 Anthropic 和 OpenAI 的收入有很多由 enterprise subscription 带动;他看好 consumer 接下来的崛起。他继续留在 Google 的原因之一,是 consumer services 一直是 Google 的强项,但他也不排除未来出现新领域。
  • 他从整个行业角度谈未来产品形态:可能是 super app,也可能是整个手机发生变化;眼镜、耳环、耳机乃至衣着都可能变化。他认为 consumer hardware 仍有很多探索空间,包括 on-device 与 off-device 模型的交互;Apple 曾提出 hybrid intelligence 的概念。
  • 他还回顾,家里的智能音箱做了四年后,突然好像没人做了;以前有人喊着做智能冰箱,而从私人通用助理角度看,冰箱上放个屏幕、连上 Internet,就能把智能做起来,比七八年前简单多了。进入通用助理时代后,人们也不应该还得整天给机器人下载 app——那是 15 年前担心的问题。
  • 收尾谈到 AI 与教育,他用 AlphaGo 作类比:近 10 年前 Google 开发 AlphaGo,很多人在它和棋王对决后说人类以后不下棋了;结果下棋的人和想研究围棋的人反而更多。他认为数学也可能如此:AI 能解 Navier–Stokes,不一定会让人不想学数学,反而可能吸引更多人。研究动力或许会从探索知识边界,转向理解、娱乐和乐趣,让更多人出于好奇心做研究。
  • 他还提到围棋应用降低了学习门槛、激励更多小朋友学棋;大语言模型出现后,Google 看到 search 的应用增加而不是减少。AI 会改变现有结构,也可能带来新机会;他认为 enterprise 和 consumer 领域都“creativity seems to be everywhere”。