Pioneers Insight Method Research Author
Silicon Valley Coordinates x PingCAP Co-founder 黄东旭 on Rebuilding Infrastructure in the Agent Era
Back to Episodes

Silicon Valley Coordinates x PingCAP Co-founder 黄东旭 on Rebuilding Infrastructure in the Agent Era

Summary

  • 黄东旭认为,OpenClaw 标志着 AI-native 应用形态已经出现,但它只是“及格线”——“做得比 OpenClaw 差的属于上一个时代,未来只会比它更好”。 他家里不懂计算机的父母和太太都开始“养龙虾”,自己手握多个 Claude Code + Codex Pro Max 账号,峰值日耗 token 达到十亿量级,平日也有几亿,因此“很兴奋,同时也很焦虑”,总有一种“被 agent team 推着往前跑”的感觉。
  • Harness engineering 是继 prompt 和 context 之后的更高维度:多 agent 协同、子 agent compaction 管理、外挂记忆,本质上“更像在管一个真正的开发团队”,只是“这帮 agent 不睡觉而已”。 他看不到 harness 的边界:benchmark 只测单 agent、单任务、单环境,“模型本身很聪明了,只是我们的题设计得不好”,未来甚至可能出现“agent 的社会学”。
  • 本期最强的判断是:LLM 无状态,各家头部模型都足够聪明,而很多价值会沉淀在记忆层,而不是大语言模型层。 “它有多了解你呢?还是得靠记忆。”他的 Mem9 插件正解决龙虾“聊着聊着就忘了”的 compaction 失忆和升级丢数据两大痛点,提供开源自部署与云端托管的永久龙虾记忆服务。
  • Agent 时代不是中心化大数据,而是“海量的小数据”。 “你跟小龙虾往死里聊,能聊出一本莎士比亚吗?”单个 agent 的数据量不大,但加总后可能超过淘宝、美团级的中心化数据;服务商的策略是全量保存:“永远不删数据,只要价值能 cover 存储成本。”他认为当下的存储短缺只是“产能临时短缺,会回归”,长期需求仍会持续增长。
  • “一虾一库”是必然趋势,而且记忆一定会在云端。 底层共享对象存储上划出一个个虚拟门户,让 agent “认为自己拥有整个数据库”;重度用户可能只有 1%,没必要为轻度用户维护专属基础设施。OpenClaw 的 local-first 是极客理念,但“牺牲了用户体验”——龙虾养死“跟家里亲人去世的感觉很像”,云端才能“马上再给你启动一只龙虾的身体,接到你的记忆上又复活了”。
  • 商业化的核心押注是“记忆 marketplace”:下一代 agent-native application 可能不再由软件工程师编写代码,而是由无数领域专家从自己的记忆中提取高价值内容。 厨师不会写代码,但可以把与龙虾讨论做饭的记忆抽成外挂记忆,接到别人的 agent 上收费,成为“一个新的分发渠道”;基础记忆可能免费,云备份、导入导出则可以做成订阅增值服务。
  • Agent 基础设施将被整体重写:沙箱化的 agent 云、agent 邮箱、支付、权限和 ID 都值得重新设计,现有数据库若服务几十亿 agent,成本根本扛不住。 但 SQL 和文件系统作为模型的心智模型会长期存在。独立向量数据库“不需要单独出现”:向量检索只是检索手段之一,最终会收敛成所有数据平台的标准能力。
  • 组织形态可能变成部落,而个人护城河在于保持手感。 他的一两人团队“过去三个月干了传统软件公司一百个人年的事”,公司 90% 的代码由 AI agent 编写,他不掌握具体代码细节,“上一个时代的软件工程已经终结了”,全职 coder 可能会很危险。但这也是软件民主化——软件不会像纺织女工时代的衣服那样变少,反而可能更多;年轻人应该学习 Unix philosophy 这类“永恒不变的东西”。

Deep dive

1. OpenClaw 是“及格线”,从业者被 agent team 推着前进

  • 黄东旭开场给出的体感证据是:家里的父母和太太这些“计算机背景不强的人”都开始“养龙虾”了。这意味着 AI-native application 的产品形态已经出现。但 OpenClaw 只是及格线:“做得比它差的属于上一个时代,未来只会比它更好。”
  • 他的用量本身就是行业信号:多个 Claude Code + Codex Pro Max 账号,峰值日耗 token 达到十亿量级,平日也有几亿。反馈闭环极快——“今天我有个想法,马上让 agent 去做,一个小时之后这个东西就上线了。”
  • 新的心理状态是:agent 会等着你,于是不断 push 自己“下一个想法在哪里”,持续进入想法—反馈—新想法的循环。“很兴奋,同时也很焦虑”——前沿实践 harness engineering 的资深工程师多少都有这种“被 agent team 推着往前跑的感觉”。

2. 从 prompt 到 context 再到 harness:层层递进,边界尚未出现

  • 这3代概念可以分层理解:prompt engineering 是 few-shot、无外部工具调用的短程问答,时间大致从 2022 年底、2023 年初延续到 2024 年;context engineering 处理长程任务、分析工具调用结果,并高效利用有限的上下文空间;harness engineering 则再升一维——协调多个 agent,考虑每个子 agent 的 compaction,并在其上搭建信息同步、子任务管理和外挂记忆,“更像在管一个真正的开发团队”。
  • 曹卿云问 harness 的边界在哪里,黄东旭的回答很坦率:“我没有感觉到现在有边界。每一次觉得快到边界了,agent 又能给我惊喜。”更深一层,他们甚至无法评估当前的 SOTA 模型——“模型本身很聪明了,只是我们的题设计得不好”,而 benchmark 仍只测单 agent、单任务、单环境。人类依靠组织成为社会,agent 也一样,“也许未来我们会发现一些 agent 的社会学”。
  • 终局上,harness 本质仍然是软件工程,“一个好的 harness 就是一个好的软件工程”,与管理真人团队“没有太大区别,只是这帮 agent 不睡觉而已”。第一阶段会用人类几十年积累的组织架构、工具和方法论做 bootstrap;第二阶段则可能出现 Elon 所说的递归自进化,“就会超出人类能理解的范围”。他相信各家会有自己的 harness,但“不会脱离传统团队管理和软件开发的 ground truth 太远,还是会收敛的”。

3. 记忆是 harness 最难、也最值钱的一层

  • Mem9 针对两个痛点:龙虾“聊着聊着就忘了前面的事”,长程任务中上下文一旦压缩就可能发生灾难性失忆;以及私密对话可能在一次升级中丢失。方案是开源可自部署、同时提供云端托管的永久龙虾记忆服务,安装体验本身也是 agent-native 的:给龙虾复制粘贴一句话,软件就会自动安装。
  • 黄东旭用一个很直观的比喻区分概念:context window 是短期记忆,memory 是笔记本——“好记性不如烂笔头”,先检索相关记忆,再放回上下文窗口。曹卿云补充说,只要模型仍基于 Transformer,上下文窗口就是定值;开发大型系统软件可能需要几十万个步骤,这正是外挂记忆的必要性所在。黄东旭不认可把 RAG 当成完整概念,认为它“跟具体的技术绑定得太紧”,因为今天的 memory 已经超出了 RAG 原本代表的技术范围。
  • 价值归属的核心命题是:ChatGPT 强迫每个任务开启新对话,只是用产品形态把记忆问题“掩盖过去了”。大语言模型是无状态的,“每家可能 top 1 的 model 都很聪明,但它有多了解你呢?”——“很多的价值其实会在记忆这一层,而不是大语言模型这一层。”

4. 设计哲学:把模型本身当作评估函数

  • 怎么记、怎么提取,答案出人意料地简单:更相信模型自己的能力。团队原本想设计精妙的遗忘曲线算法,最终采用的方案是把相关信息检索出来,在每条数据后加上“这个事实离当前时间有多少天”的标签,全部交给大模型,再补一句“根据你自己的判断,哪条是最重要的”。“我把模型本身的能力当成一个评估函数。”归纳总结、知识图谱中的关联判断,也同样全部交给模型。
  • 由此可以推到一个极端类比:“也许未来对 agent 最好的安全软件可能就是一句话:‘你要注意安全。’”传统编程逻辑不能直接套用到 agent-native 开发;他甚至认为 coding agent “可能会变成未来的操作系统内核”。

5. 反直觉的数据判断:“海量的小数据”,而且全都要存

  • 数据库出身带来的量级直觉是:全世界只有一个淘宝,背后是数百甚至上千 PB 的中心化数据;个人 agent 则相反——“你跟小龙虾往死里聊,能聊出一本莎士比亚这么长的话吗?”只要通过文本语言交互,单个 agent 的数据量就不会太大,这是他敢于提供“无限记忆”的底气。
  • 但从存储供给的角度看,海量小数据加总后“可能会比中心化淘宝、美团的数据量更大”,只是碎片化在无数龙虾服务商手中。策略上,“无论用户跟他的龙虾聊过什么,我作为提供商一定得存下来,这是对未来最宝贵的资源”。他认同 Google 的 philosophy:“永远不删数据”,只要价值能够 cover 存储成本;热、温、冷数据,结构化、非结构化数据,以及“人跟机器产生的所有 footprint”,都应该被保存。
  • 个人数据为什么现在才变得值钱?过去做不到千人千面,只能把所有人的数据汇集起来,给消费者打上 10 个标签,比如白领、三线城市青年、老人;agent 时代,“你的 agent 非常了解你,推荐非常精准,价值就非常高”。至于当下的存储产能短缺,他判断“不是什么航天科技,只是产能临时短缺,会回归”,而长期需求会持续增加。

6. 一虾一库,而且一定在云端

  • “一虾一库”是必然趋势:每个人的记忆结构不同,安全也是硬性限制——每个人的数据都应单独加密,个人密钥可能各不相同,“你不会愿意把你的记忆跟陌生人全放一起”。实现方式是数据库虚拟化:底层用云对象存储做大型共享存储,上面划出一个个虚拟门户,门户中的 agent 会认为自己拥有整个数据库。经济账在于,重度用户可能只有 1%,不能为每天只聊 2-3 句的用户维护专属基础设施;对 agent 的正确抽象是,“与其教它在存储服务上注册账号,不如直接告诉它:你现在看到的就是一个完整的数据库,随便用”。
  • 云端还是本地,黄东旭给出的是产品结论,而非安全结论。OpenClaw 是 geek 设计的,Peter 是“一个特别极客的人”,理念是 local first——安全,不受云端“邪恶公司”控制数据,但代价是“牺牲掉用户体验”。用户可能经常把龙虾养死,“跟家里亲人去世的感觉很像,很吓人”。如果要成为 C 端产品,他认为“一定是云端”:“龙虾养死了,但我的数据还备份着,马上再给你启动一只龙虾的身体,接到你的记忆上又复活了。”

7. 商业化:从备份订阅到“记忆 marketplace”

  • 他首先提到的付费场景是记忆的备份和恢复:基础记忆可能免费,导入导出、云备份可以做成订阅制增值服务——“但它肯定不是企业级产品的定价模式”。
  • 更大的赌注是记忆成为通用基础设施。他押注下一代 agent-native application 不会像今天这样由软件工程师编写代码,而可能由无数领域专家从记忆中提取高价值内容,甚至可能只是“一堆 Markdown 文档”。厨师完全不会写代码、只会做饭,但可以天天跟龙虾聊做饭,把这份记忆抽取成外挂记忆接到别人的 agent 上,再通过 marketplace 收费——“你就变成了一个新的分发渠道”。

8. 基础设施整体重写,但 SQL 与文件系统的心智模型长存

  • 面向 agent 的基础设施一定会出现。今天的云、数据库和网络本质上都是面向开发者的;agent 的云不会是 AWS、GCP、阿里云的现有形态,而可能是一个个沙箱——Manus 的形态相当于给 agent 一台小电脑,里面什么都有,agent 可以直接在里面工作。数据库的账算不过来:现在最便宜的数据库每月也要几美元,“给几十亿 agent 提供,成本扛不住”,底层实现必须重写。同样的逻辑也适用于通信——“谁在给 agent 提供邮箱服务?没有”——以及支付、权限和 ID;这些都是值得重新设计的、“非常朝阳、同时又非常重要的事情”。
  • 接口层反而要保守。模型从人类数据中训练出来,SQL 和 file system 是它最熟悉的操作计算机的心智模型,因此 Mem9 的 memory 通过数据库接口提供,OpenClaw 的原生记忆本身就是一堆 Markdown 文件。“在 agent 自我进化出更符合自身使用方式的接口和形式之前,这些经典心智模型会长期存在,只是下面的实现不一样。”
  • 对向量数据库的判断,他自称“有点极端”:向量检索只是若干检索手段之一,此外还有全文匹配和原始信息过滤;把它单独拆出来对 agent 并不友好,“不需要单独出现一个向量数据库”。向量检索最终会成为所有数据平台的标准能力,接口也会收敛;而在个人数据语境下,“多高的性能、多大的数据量其实没有什么意义”。

9. 好体验的判据是 Unix 哲学,多 agent 里可能藏着新 scaling law

  • 给 agent 做软件,什么才算好用?他的猜想是:“对开发者友好的体验,一样也会对 agent 友好。”GUI 不可组合——“两个图形界面的东西不能融合出第三个图形界面”,命令行却可以。Unix philosophy 最近重新流行,核心正是方法论原则就那么几个,但通过组合可以变出一个更大、更复杂的世界,用一套简洁、自洽的心智模型覆盖尽可能多的灵活任务。
  • 下一个可能突破边界的方向,他明确标注为 open question:“我隐约觉得组织多个 agent 干复杂任务的过程中,会 somehow 存在一种 scaling law——放一百个、一千个、一万个进去,能产生什么效果?”
  • 人与 agent 的协同只发生在最上层:提出需求、验证交付结果,以及通过 skill 或 spec 传递经验。至于 agent 怎么开会、怎么管理,“你可以给它一些点拨,但不要参与进去——你一旦参与进去,就变成整个系统的瓶颈了”。

10. 组织可能变成部落,护城河在于手感

  • 他的实证是:Mem9、DB9 都是一两人团队,他本人承担主要工作,“过去三个月干了传统软件公司一百个人年的事”。软件生产正在黑盒化:公司 90% 的代码由 AI agent 编写,他每天 check in 数万行代码,却“完全不知道 AI 写了什么”,不看具体代码细节,只负责架构、软件工程和“代码不要快速腐化”等更上层的事情——编程语言“既重要又不重要”。
  • 对码农的判断直白,但带有明确的个人判断:“上一个时代的软件工程已经终结了,确实不需要这么多软件工程师了”;如果是全职 coder,“可能会挺危险”。未来组织可能是“一个个小型的部落”:强 harness engineer 带着 agent team,再配一个了解现实问题、但不会编程也不会做软件的领域专家。但这在他看来是软件民主化的好现象,并不是像纺织女工时代那样让软件变少——正如今天人们反而穿更多衣服,软件也可能变得更多。
  • 对那句“细思恐极”的判断——所有认知一个月后都可能严重过时——他的回答是:“一定要身处这个浪潮之中,保持手感。”看科技文章或听类似今天这样的对话都不是最高效的学习方式,“最高效就是亲自去用”。给焦虑的计算机专业学生的建议是学习“永恒不变的东西”——Unix philosophy、经典软件工程和思维模型;“如果学计算机只是为了找一份码农的工作,你就得想一想你真正喜欢什么”。彩蛋是黄东旭推荐《禅与摩托车维修艺术》,曹卿云说自己看过无数遍。黄东旭认为,这是一本让人认真思考“造物这件事情的本质是什么”、为什么享受把东西做好,以及什么才是好东西的书。