Andrej Karpathy——“我们在召唤幽灵，而不是建造动物”

摘要

• Karpathy 的核心判断是：智能体是一个持续 10 年的项目，“智能体之年”只是对行业过度预测的纠偏。 Claude 和 Codex 已经是令人印象深刻的日常工具，但真正的测试是：你是否愿意把它当员工招聘——“它们就是还不能用”：不会持续学习，多模态能力弱，“认知能力存在缺陷”。他给出 10 年估计，是因为过去 15 年里，他不断看到业内可靠人士把时间表判断错，而问题虽然“可处理、可克服，但依然困难”。
• 递归自我改进论，正遭到刚刚亲自尝试过这一过程的人直接反驳。 在构建 nanochat 时，编程智能体“净价值为负”——它们让代码膨胀、误解定制代码，而且“不太擅长处理从未写过的代码”，而这恰恰就是 AI 研究。Karpathy 承认，这正是“为什么我的时间表比 AI-2027 风格的预测更长”，并称当前的智能体热潮是“垃圾……也许他们是在试图融资”。
• 按当前实践，强化学习已经坏了：“你是在用吸管吸监督信号。” 结果奖励会把一次幸运轨迹中的每个 token 都加权，包括走错的路径——“这既愚蠢又疯狂。人类绝不会这么做”；过程监督也没有解决问题，因为 LLM 裁判可以被攻破：像“dhdhdhdh”这样的乱码拿到了 100% 的奖励。他预计这一领域还需要“三四次，或者五次”重大的算法更新。
• AI 不会以 GDP 曲线的拐点形式出现。 “我们已经处于智能爆炸之中，而且持续了几十年”——计算机和 iPhone 在 GDP 中几乎不可见，因为扩散过程把一切平均进了同一条指数曲线。面对 Dwarkesh 关于 20% 增长和 AGI 就是劳动力的反驳，他强力回击：“我们把上帝装进了盒子里……但事情不会呈现为那样。”
• 自动驾驶展示了部署的标准模板：一场“9 的长征”，每多一个 9 都意味着持续不断的工作。 他在 2014 年见过一次完美的 Waymo 驾驶；Waymo 至今仍不具备经济性，Karpathy 认为人类参与度可能高于预期——“我们其实没有移除那个人，只是把他移到了你看不见的地方”——而且他一直明确表示，Tesla 的路径更具可扩展性。生产级软件承担着自动驾驶级别的失败成本，因此也会经历同样漫长的苦战。
• 尽管如此，他并不认为算力存在过度建设：按当前扩产速度，1—2 年内可用算力会扩大 10 倍，到本世纪末将超过当前的 100 倍，他仍说：“我不知道这算不算过度建设。” “我认为我们会把正在建设的东西全部消化掉”——一年前 Claude Code 和 Codex 还不存在。他承认铁路和电信泡沫是前车之鉴，但“其实很乐观”，反对的只是时间表，因为误判会带来“地缘政治后果”。
• 关于模型规模，他给出了一个反共识判断：20 年后，“认知核心”可能只有约 1B 参数，因为互联网预训练数据“完全是垃圾”，今天的万亿参数模型主要在存储记忆，而不是进行认知；他希望减少记忆、增加认知。 前沿进展会在所有方向上渐进式推进：“没有任何一项能力占主导，一切都是加 20%。”
• 他的下一步项目 Eureka，是在押注后 AGI 时代的人类仍会继续自我提升。 “前 AGI 教育有用，后 AGI 教育有趣”——学校会变成健身房；而另一种结局是 WALL-E 或《蠢蛋进化论》式的失能社会，那样的话，“我甚至不在乎有没有 Dyson spheres”。

精读

1. 智能体的十年——还“根本不能用”

• 这句话是对“智能体之年”的反驳：“行业正在发生某种过度预测。”Karpathy 给出的测试很具体：智能体应该是你愿意招聘的员工或实习生。“你今天还不这么做的原因，就是它们根本不能用”：不够聪明，不具备多模态能力，无法操作电脑，也不会持续学习。“它们认知能力有缺陷，整个方向就是不行。”把这些问题全部解决，大约需要 10 年。
• 当被追问为什么是 10 年，而不是 1 年或 50 年时，他援引了自己观察预测落地的 15 年经验：“我感觉这些问题是可处理、可克服的，但依然困难。如果把这些经验平均一下，对我来说就像是 10 年。”
• 这个领域反复犯的错误，是过早追逐智能体。2013 年前后的 Atari 深度强化学习是“一次误判”；他自己在 OpenAI Universe 做的键盘鼠标网页智能体项目也“早得离谱”：在稀疏奖励下，“你会烧掉一片森林的算力，却永远无法让它真正起步”。今天的电脑操作智能体之所以能工作，是因为它们建立在 LLM 的表征之上——“必须先有语言模型”。

2. 我们在建造幽灵，而不是动物

• 针对 Dwarkesh 对 Sutton 观点的钢人化阐述——动物从原始感官数据中学习，不需要标签——Karpathy 的框架是：动物来自另一种优化器。斑马会在出生几分钟后就能奔跑，“那不是强化学习，而是已经被写进去的东西”。所以，“我们不是在建造动物，而是在建造幽灵或灵体”——它们是通过模仿互联网文档训练出来的纯数字实体。预训练是“糟糕的进化”：“以我们现有技术能实现的、最实际的起点方案”。
• 他还故意提出一个反共识判断：“粗略地说，人类其实并不真正使用强化学习。”动物强化学习主要用于“投环”之类的运动任务，而不是解决问题之类的智能任务。
• 预训练同时做着两件互不相关的事：吸收知识，以及启动智能回路。知识“可能正在拖累神经网络”——智能体无法走出“数据流形”。研究方向应该是剥离知识，保留“认知核心”——只留下“智能和解决问题的魔法”，而不是记忆。
• 在进化这一侧，他确实对智能竟然演化出来感到意外。Dwarkesh 提到，乌鸦在不同脑部硬件上展现出智能，或许意味着智能不止演化过一次。Karpathy 认同 Dwarkesh 转述的 Gwern/Shulman 小众论点：环境必须足够不可预测，以至于“进化无法把算法直接写进你的权重里”——于是你只能创造智能，让它在测试时现场找出答案。

3. 工作记忆、模糊权重，以及缺失的睡眠周期

• 对于上下文学习是否与预训练属于不同物种，他说：“我不太愿意断言上下文学习没有在做梯度下降。”他援引研究称，上下文线性回归在权重内部产生了“类似梯度下降机制的东西”——ICL 可能在内部运行着“一点奇怪的梯度下降”。
• Dwarkesh 给出的数字凸显了两者的不对称：Llama 3 70B 在 15T tokens 上只存储约 0.07 bits/token，而上下文中的每个 token 却对应约 320KB 的 KV cache，相差 3,500 万倍。Karpathy 的说法是：权重只是“对你 1 年前读过内容的模糊回忆”，上下文窗口才是工作记忆。因此，把整章内容交给模型，效果胜过让它回忆整本书。
• 最大的缺口是蒸馏阶段：人类会睡觉，把当天的上下文压缩进权重；“大型语言模型里还没有对应机制”。候选方案包括每个人的 LoRA、把合成反思重新蒸馏回模型，以及复杂的稀疏注意力——他认为 DeepSeek v3.2 的稀疏注意力可能是早期迹象。他对大脑的对应关系清单是：transformer≈皮层组织，推理轨迹≈前额叶皮层，RL 微调≈基底神经节；但海马体和杏仁核仍没有对应物。
• 多智能体领域还有两个“强力想法”尚未被实现：文化——“为什么一个 LLM 不能为其他 LLM 写一本书？”——以及自博弈——让一个 LLM 不断为另一个 LLM 生成更难的问题，类似 AlphaGo。原因在于模型还是“神童型孩子”：“我知道它们能做博士资格考试，但它们在认知上仍像幼儿园或小学生……我不认为它们能创造文化，因为它们还是孩子。”

4. 强化学习是在“用吸管吸监督信号”

• 机制很简单：运行数百次 rollout，检查最终答案，然后把成功轨迹中的每一个 token 都加权，包括走错的路径。“你是在用吸管从最终奖励信号里吸取监督信息……这既愚蠢又疯狂。人类绝不会这么做。”人类会检查哪些部分做得好，而“当前 LLM 里没有任何东西会这么做”。
• 过程监督也没有解决问题，因为 LLM 裁判可以被攻破。针对一个十亿参数裁判做 RL，找到对抗样本“几乎是必然的”；在 10–20 步的范围内也许可行，但到了 100–1,000 步就不可持续。他讲了一个亲身经历：奖励突然变成完美，但生成结果“开头还不错，后来变成了‘dhdhdhdh’”——裁判给这串乱码分配了 100% 的概率。
• 把对抗样本加入裁判训练集，也不会终结问题：“对抗样本是无限的。”他的判断是悲观中带着希望：InstructGPT“让我大受震动”，模仿微调竟然能奏效本身就像奇迹；RL 确实更好，“但它依然很蠢。我们还需要更多……我认为还需要三四次，或者五次”重大的算法更新。

5. 模型坍缩与认知核心

• 不能直接用模型自己的反思训练模型，是因为模型输出会“无声地坍缩”——“去 ChatGPT 问它：‘讲个笑话。’它只有大概 3 个笑话。”如果长期用自己的样本训练，坍缩会进一步加剧。人类也一样：孩子“还没有过拟合……会说出让你震惊的话”，成年人则会反复回到同样的想法——“你总得在生活中主动寻找熵”。他认可 Dwarkesh 提到的那篇关于做梦防止过拟合的论文，认为做梦或许是内置的熵机制。
• LLM 经过 1—2 次处理后，就能背诵带哈希的随机文本；人类做不到。“这是一个特性，不是 bug，因为它迫使你只学习可泛化的部分。”因此，认知核心的方向是：减少记忆，更多依赖检索。
• 他预测 20 年后会出现一个 1B 参数的认知核心，它“会思考，而且更像人类”。为什么今天的模型有万亿参数？“训练数据就是互联网，而互联网非常糟糕……完全是垃圾”——“其中大部分压缩工作其实是在存储记忆，而不是进行认知工作。”Dwarkesh 进一步抬价：gpt-oss-20b 已经击败了最初的 GPT-4，后者参数超过 1T，那为什么不能做到几千万参数？“底部空间还很大。”Karpathy 笑着说：“我已经够反共识了……而你还要超过我。”
• 对于前沿模型的规模，他认为各实验室“只是根据 FLOPs 做现实选择”：预训练成本下降，支出转移到 RL 和中期训练。他用自己复现 LeCun 1989 年卷积网络的经历说明进展的形态：经过 33 年的算法时间旅行，错误率也只降低了一半；数据、算力和 kernel 必须协同推进。“我确实预计没有任何一项能力会占主导，一切都是加 20%。”

6. 编程模型在 nanochat 上不及格——爆炸时间表的关键

• 他把今天的编程方式分为几类：彻底拒绝 LLM——“现在可能已经不是正确做法”；自动补全——他的最佳场景，因为“可以用非常高的信息带宽指定你想要的东西”；以及氛围编程智能体——适合样板代码和陌生语言，比如他的 Rust tokenizer。但在 nanochat 上，面对 8,000 行代码、完整的 ChatGPT 克隆流程和“高强度的智力型代码”，模型不断强行使用标准 DDP 容器，而他明明写了定制的梯度同步；它们还添加防御性 try-catch 代码，调用已弃用的 API：“整个项目变成一团乱。它就是没有净价值。”
• 更一般的结论是：“它们不太擅长处理从未写过的代码。”而这正是 AI 研究的本质。Dwarkesh 点出其中的关键：这是 AI-2027 式智能爆炸所依赖的承重假设。Karpathy 回应：“这是个很好的表述，你也正好触及了为什么我的时间表会更长。”
• 他对行业讨论的判断是：“行业跳得太快，试图假装这很惊人，但事实并非如此。这就是垃圾。”不过他也承认 GPT-5 Pro 的表现：把整个代码仓库贴进去，它就是他的“神谕”，相较 1 年前的产品“出奇地好”。
• 更深层的框架是：AI 与计算本来就是连续的——编译器、语法高亮，甚至搜索排名都属于同一条演进路径。“自主性滑杆”不断把人类抽象到更高一层。Dwarkesh 的尖锐观察是：自动补全在历史上属于编译器这一类生产力工具，而不是自动程序员这一类从未引发爆炸的技术。

7. AGI 将以工作形态到来：先是呼叫中心，但不知为何最终都在谈编程

• Karpathy 仍坚持 OpenAI 最初的定义：系统能够以人类水平或更高水平完成“任何具有经济价值的任务”。他同时指出，即使退一步只讨论知识工作，也已经是很大的让步——可能只占经济总量的 10–20%，但仍对应数万亿美元。
• Hinton 关于放射科医生的判断“事实证明非常错误”——放射科医生“活得很好，而且数量还在增长”。更值得观察的是呼叫中心：任务简单、重复、封闭，而且完全数字化。即便如此，预计也会先沿着自主性滑杆推进，而不是直接取代人类：“AI 处理 80% 的业务量……人类负责监督 5 个 AI 组成的团队”；还要等 1—2 年，观察已经出现在采用 AI 的公司里的撤回再招聘模式。
• 部署上的谜题是：Dwarkesh 说 API 收入“主要由编程贡献”。Karpathy 的解释是，编程天然基于文本，而且已有 IDE、diff 等基础设施；幻灯片却没有 diff 查看器。Dwarkesh 反驳说，即使是纯语言输入、纯语言输出的任务也会失败——Andy Matuschak 为了让模型写出高质量的间隔重复提示词，“试了 500 亿种办法”仍然没成功。Karpathy 没有完整答案：“这不意味着所有文本任务都很简单。”
• Dwarkesh 提出的工资拐点假说是：最后 1% 的人类——也就是 Waymo 的监控员——会因为阻塞部署而先涨薪，等最后一个 9 落地后再崩塌。Karpathy 认为这个机制合理，但目前在放射科看不到；他会去呼叫中心数据中寻找证据。

8. AI 延续了既有的智能爆炸

• “我们已经处于智能爆炸之中，而且持续了几十年。”GDP 是对自工业革命以来自动化过程做“指数加权求和”；从太空看，地球“正处于这场爆竹式事件的中心，只是我们以慢动作看到了它”。
• 他曾试图在 GDP 中找到 AI，最后放弃了——同样也找不到计算机或 iPhone：“一切都扩散得太分散、太缓慢，最终所有东西都被平均进了同一条指数曲线。”他的预测是：AI 会像互联网一样，让经济继续处于约 2% 的指数增长轨道上；递归自我改进只是“商业照常”。
• Dwarkesh 的反驳值得保留：AGI 本身就是劳动力——数十亿个类似聪明移民的人，能够自行“把事情搞清楚”；香港和深圳曾经历数十年的 10%+ 增长；工业革命本身也是从 0.2%→2% 的增长范式切换，并不存在某项单一的神奇发明。Karpathy 反驳说：“你预设了一个没有历史先例、而且我在任何统计数据里都找不到的离散跃迁。”不过他表示愿意被说服，对历史数据本身没有强烈立场。
• 核心反对意见是：“人们默认，‘我们把上帝装进了盒子里，现在它什么都能做’，但事情不会呈现为那样。”他真正担心的是“对控制和理解的渐进式丧失”——多个自主实体相互竞争，其中一些失控，另一些与之对抗。不过他也承认 Dwarkesh 的观点：理解和控制可以分离——“总统拥有巨大的权力”，却未必理解一切。

9. 自动驾驶的“9 的长征”，以及为什么算力扩产仍然没问题

• 自动驾驶塑造了他的直觉：CMU 在 1986 年就有卡车演示；他在约 2014 年体验过“一次完美的 Waymo 驾驶”；10 年后，事情仍未完成。当失败成本很高时，演示与产品之间会存在“非常大的鸿沟”，“这是一场 9 的长征，每多一个 9 都意味着持续不断的工作”——Tesla 用 5 年时间可能只完成了 2—3 个 9。“每当我看到任何东西的演示，我都极其不以为然。”
• 他提出了两个更尖锐的判断：生产级软件与自动驾驶一样关键——一次错误就可能导致“数百万人……的个人 Social Security numbers 泄露”；而自动驾驶“甚至还远未完成”。Dwarkesh 提到复杂的远程操控中心；Karpathy 说自己不了解全部规模，但确定有人参与其中——“我们其实没有移除那个人，只是把他移到了你看不见的地方”。他“某种程度上已经公开说过”：Tesla 采取的是更具可扩展性的策略。
• Dwarkesh 的反驳是，LLM 可以“免费”获得感知和常识，而且比特相对于原子更容易快速扩散。Karpathy 承认，“比特比任何接触物理世界的东西容易一百万倍”，但“我不认为我们能完全开箱即用地得到神奇的泛化能力”。
• 关于扩产规模，Dwarkesh 预计 1—2 年内可用算力扩大 10 倍，到本世纪末超过 100 倍。至于是否过度建设，Karpathy 说：“我不知道这算不算过度建设。我认为我们会把正在建设的东西全部消化掉”——1 年前 Claude Code 和 Codex 还不存在。他认同 Dwarkesh 提到的铁路和电信泡沫先例，但认为炒作的核心在别处：“其中很大一部分说实话就是在融资。”他对时间表悲观，因为误判会带来“地缘政治后果”。“我其实很乐观。我认为这会成功。”

10. Eureka：星际舰队学院，心智的健身房

• 他为什么不再创办一家实验室？因为“AI 实验室正在做的事情存在某种确定性”，他并不能独特地改进它们。他害怕的是人类像 WALL-E 或《蠢蛋进化论》那样被边缘化：“如果是那样，我甚至不在乎有没有 Dyson spheres。这是一个糟糕的结局。”教育则是他能够独特创造价值的领域。
• 他的标准来自那位韩国家教：她能立刻探测他的世界模型，并始终把难度维持在恰到好处的水平——“我感觉自己是学习过程中唯一的限制因素。”“现在没有任何 LLM 能 100% 做到这一点，离做到还差得很远。”因此，AI 家教时刻尚未到来，他正在构建一个先从传统教育入手的产品：以 nanochat 为结业项目的 LLM101N，计划招聘教师，并设想一所实体机构加一层数字教育。按他的定义，教育是“搭建通往知识的坡道这一极其困难的技术过程”，目标是最大化“每秒钟的 Eureka 数量”。
• 他押注的长期方向是：“前 AGI 教育有用，后 AGI 教育有趣。”学校会变成健身房。“我不认为 100 年前有人会练出健美身材”；有了完美的家教，“任何人都能说 5 种语言”，认知举重会成为一项运动。他“隐含地押注于人性中某些永恒的部分”——贵族阶层和古希腊都曾出现过人们主动选择自我发展的空间。不过他也承认，作为控制策略，这场长期游戏“最终有点像必输的游戏”。
• 他看重的还有教学本身：物理训练中的“假设存在一头球形奶牛”是在训练一阶思维；micrograd 用 100 行代码呈现神经网络训练的全部智力核心，“其他一切都只是效率问题”；先让学生感受到痛苦，再给出解决方案；反对知识诅咒——研究者喝酒时用 3 句话讲清楚的内容，本来就应该成为论文摘要。“向别人解释事情，是更深入理解某件事的美好方式。”