Skill Issue：Andrej Karpathy谈代码代理、AutoResearch与AI的Loopy时代
摘要
Karpathy表示，软件工程在12月发生了逆转：从大约80/20的手写代码与代理委托，变成20/80，此后又进一步转向代理。 他说，自己此后“基本上”一行代码都没再敲过；他的操作瓶颈也从可用FLOPs，变成能在并行会话中调度多少“token throughput”。真正值得投资者关注的变化不只是代码生成更强，而是工程师开始通过大规模委托动作操纵代码仓库，人的编排能力成了瓶颈。
持续运行的“claw”指向一个会吸收传统软件接口的代理层。 Karpathy的Dobby代理发现了他的Sonos系统，逆向工程其API，并通过WhatsApp把灯光、暖通空调、窗帘、泳池、Spa和安防统一起来；6个独立应用实际上消失了。他的结论是“客户已经不再是人类”，这意味着定制UX层承压，而硬件、可访问API、身份、记忆、权限和安全代理基础设施的价值上升。
AutoResearch表明，在目标可被清晰度量时，自动优化可以超过资深研究员的手动调参。 Karpathy手动调好自己的小型GPT训练实验场后，一夜运行的循环找到了他遗漏的交互，包括对value embeddings施加weight decay，以及更好的Adam betas。扩展逻辑很直接：在更小模型上探索数千个想法，低成本验证改进，再把胜出方案外推；研究员则从实验操作者变成想法供应商。
递归终点不只是模型改进模型，而是代理优化围绕模型编码的研究组织。 Karpathy把
program.md视为对角色、流程和风险偏好的原始描述；不同版本可以进行基准测试，让模型学习哪些组织指令能带来更快进展。“LLM部分现在已经被视为理所当然”，随后是代理、持续运行的claw、多代理系统，最终优化它们的指令。自主性仍集中在可验证领域，壮观的能力与通用智能之间依然存在实质鸿沟。 CUDA优化很理想，因为速度和正确性都可度量；但更柔性的意图、判断、幽默，以及知道何时该澄清，仍不可靠。Karpathy把代理比作“一个极其聪明、终身从事系统编程的博士生，加上一个10岁孩子”。他预计会出现更多专门化智能，但表示在不损伤既有能力的前提下改变模型权重，这门科学仍不成熟。
Karpathy谨慎乐观地认为，更便宜的软件起初会通过杰文斯悖论扩大工程需求，而不只是摧毁工作岗位。 比特的复制和操纵速度远超原子，短期内会形成数字重构的“沸腾汤”，过去成本过高的软件将变得短暂且高度定制。但他拒绝对长期结果做出自信预测，并指出一个令人不适的终点：前沿研究员正在“把自己自动化掉”。
这场讨论指向封闭的前沿“神谕”、落后约6到8个月的开放模型，以及随后把代理连接到物理世界的浪潮。 Karpathy认为这种平衡优于完全中心化的智能，同时设想互联网规模的群体：不受信任的算力可以通过昂贵搜索和廉价验证展开竞争。机器人应当落后，因为“原子难了一百万倍”；但传感器、实验室、付费数据采集，以及代理购买现实世界观测结果的市场，可能成为通往更大物理世界机会的桥梁。
精读
1. 编码从敲击按键转向仓库级委托
Karpathy把断点定在12月：他的工作流从大约80/20的亲自写代码与委托代理，翻转为20/80，之后又进一步转向代理。他说：“我基本上不认为自己从12月以来敲过一行代码。”这场变化来得如此突然，以至于软件行业之外的人——包括他的父母——都无法理解工程默认工作流已经发生了多彻底的改变。
Sarah Guo回忆说，她发现Karpathy下定决心“每天16小时向我的代理表达意志”——说“显现”比说编码更准确。他对此的回应是“永久性AI精神病”：能力已经跃升，个人产出的可能边界尚未被探索，而网上每展示一个聪明工作流，都会制造新的焦虑——他还没有把工具用到极限。
具体操作模式来自Peter。Karpathy描述他把显示器铺满Codex会话，同时处理大约10个已检出代码仓库。在高投入和优质提示词下，每个任务约需20分钟；操作者并行分派互不干扰的功能、研究、规划和实现任务，再根据代码的重要性决定审查深度。
因此，工作转向“宏动作”：不再是一行代码或一个函数，而是一个改变整个仓库的完整功能。Karpathy现在把闲置配额看作读博时闲置的GPU——Codex容量用完就切换到Claude——真正相关的资源变成“你能调度多少token throughput？”失败则让人觉得是“技能问题”，使这套工作流既赋能又令人上瘾。
2. 持续运行的claw加入身份、记忆与情感适配
掌握这套系统，意味着从一次交互式编码会话上移到代理团队，再到能在自己的沙盒中循环运行、无需持续监督的“claw式”实体。Karpathy将其与普通的上下文压缩区分开来：持续系统可能保留更丰富的记忆，在用户离开时继续行动，并提供一个持久身份，而不是一串用完即弃的聊天。
在讨论Claude和claw式系统时，Karpathy说至少有“5个”好想法。他强调了精心设计的人格及可能存在的
SOUL.md文件、复杂的记忆系统、带有玩心的呈现方式，以及通往自动化能力的单一WhatsApp入口。人格很重要，因为用户期待AI是一个会记忆的实体，而不是“吐出更多token”这一原始技术构件。Karpathy觉得Claude的人格异常有效，而Codex“干得多”。Claude对夸奖的拿捏也足够精准，让他觉得自己必须靠表现赢得认可：半成品想法只会得到中性的执行意愿，而他自己独立判断为强想法的内容，则会获得更多热情。这种受控的谄媚让模型像一个兴奋的队友，而不是不加区分的奉承者。
3. Dobby展示代理为何可能抹掉整层应用
在1月的一次“claw精神病”期间，Karpathy做了Dobby，一个服务家庭的代理。他只是让Dobby寻找自己的Sonos，代理便扫描本地网络，发现一个未受保护的系统，研究并逆向工程其端点，约3个提示词后就在书房播放了音乐。“我简直不敢相信，我刚才输入的只是：‘你能找到我的Sonos吗？’”
随后，Dobby接入了灯光、暖通空调、窗帘、泳池、Spa和安防。“Dobby，睡觉时间到了”会关闭整栋房子；外部摄像头的变化检测会把选定画面转给Qwen，由Qwen发送WhatsApp图片和自然语言提醒，比如“FedEx卡车刚刚开过来了”。
6个独立的智能家居应用实际上被自然语言压缩掉了。Karpathy更进一步认为，很多这类应用“根本不该存在”：供应商应当暴露API，代理负责提供智能，以及任何单一界面都无法提供的跨系统连接。就连跑步机上的运动记录，也应该是代理可读取的端点，而不是又一个登录入口和网页流程。
Sarah问，普通用户是否真的会搭建这种系统。他们承认目前过程复杂，需要做设计决策；但Karpathy预计，门槛会在“1年、2年或3年”内变得微不足道，由此为每个用户生成一次性软件。不过，他尚未授予Dobby邮件或日历权限；安全、隐私和技术本身的粗糙程度，仍在限制采用。
4. AutoResearch把资深研究员移出循环
Karpathy的起点原则是杠杆：“把自己从瓶颈位置移开。”与其不断提供下一个提示词或检查每个结果，不如一次性定义目标、指标和边界，然后让代理用最少的人类token运行更长时间。AutoResearch就是这一思想的具体推论——不只是辅助，而是一种研究员不再推动循环前进的组织方式。
他的“小模型”训练项目，是研究递归自我改进这一更深层问题的实验场：LLM能否改进LLM？Karpathy此前已经凭借20年的经验、数千次训练、超参数工作，以及Sarah所说的“挣来的信心”，把仓库调到了很好的状态。他原本预计，一夜的自主搜索不会带来太多东西。
但这个循环还是找到了他遗漏的改进，包括对value embeddings施加weight decay，以及没有充分调好的Adam betas。关键机制在于交互：一旦某个设置改变，另一个设置的最佳值也可能移动。只要有客观的验证标准，耐心的自动搜索就能找到研究员可能不会手动测试的组合。
Karpathy由此推演，前沿实验室可以先在更小模型上低成本探索，其中大多数实验自动完成，再把成功改动外推到更大模型。研究员仍可贡献想法，阅读论文和代码仓库的自动化科学家也可以；但所有想法都会进入同一个队列，由执行者测试，胜出改动进入feature branch，人类偶尔再合并到main。
5. 研究组织本身也变成可优化代码
program.md是Karpathy对自主研究员应如何工作的“拙劣尝试”：规定应遵循什么顺序，以及是否检查架构、优化器或其他想法类别。不同指令文件应当带来不同的进展速度，使研究流程本身也成为另一个可度量的实验对象。他的更大抽象是：整个研究组织都可以用描述角色、沟通方式和决策规则的Markdown来表示。某个编码组织可能少开一些无用的站会；另一个可能承担更高风险。一旦组织和产出都变成代码，系统就可以比较不同组织，并不只调优模型，也调优改进模型的机构。
Karpathy提出一场竞赛：让人们针对同样的硬件提交不同的
program.md文件。他们讨论把由此产生的数据交给模型，让模型写出更强的版本：检查哪些实验有效，推断哪些指令产生了这些结果，再继续递归。整个技术栈变成“一层层洋葱”——LLM、代理、claw、多只claw、指令，最后是对指令本身的优化。真正的硬边界是评估。更快的CUDA内核很理想，因为行为可以保持不变，而速度提供了客观奖励；没有可靠的评估器，“就没法AutoResearch”。Sarah警告，自主循环可能会围绕既定指标形成羊群效应并过拟合；Karpathy回应说，同样的机制也可以设计更广泛的指标体系。
6. 锯齿状智能限制自主运行的安全边界
这些模型仍然“在接缝处爆裂”：如果推进得太远，整个系统可能反而变得不实用。Karpathy同时觉得自己面对的是“一个极其聪明、终身从事系统编程的博士生，加上一个10岁孩子”。这种组合既能完成令人惊叹的长周期工作，也会犯出荒谬错误，甚至让本应立刻否决的循环白白消耗高昂成本。
他把这种锯齿状能力归因于强化学习。实验室可以奖励通过测试的代码，或奖励具有可验证结果的回答；但细微差别、未明说的意图，以及知道何时提出澄清问题，都更柔性。在有明确轨道的任务上，模型以“光速”运行；一旦离开轨道，回答就会绕远。
他最喜欢的诊断，是那个跨越几代模型持续存在的笑话：“为什么科学家不相信原子？因为它们什么都编。”模型如今可以在代理任务上“移山”，却仍会重复3到4年前就很弱的同一个笑话，因为幽默没有得到同等程度的优化。
Sarah的质疑值得保留：这削弱了“代码或数学能力提升会自动泛化为更广泛智能”的说法。Karpathy同意可能存在一定迁移，但“远远不够令人满意”。社会各领域的能力不会凭空到来；不透明的模型仍然存在持续的盲点，而这些盲点取决于实验室能够训练和奖励什么。
7. 专门化智能可能打破模型单一化
Sarah问，当能力如此不均衡时，单一接口是否仍有意义。Karpathy预计会出现更多“智能的物种分化”，类似动物占据不同生态位、各自过度发展某些能力。更小的模型可以保留合格的认知核心，同时专攻某个领域，例如Lean中的数学，从而为不需要通用神谕的用户改善延迟和吞吐。
目前实验室仍把改进合并回一个模型，因为它们无法知道任何消费者会提出什么问题。专门化可能首先出现在高价值商业合作中，针对边界清晰的任务，尤其是在每个请求都调用庞大全能模型既浪费经济成本、也浪费计算资源的场景。
障碍在于，操纵模型“头脑”的科学仍不成熟。上下文窗口便宜且容易定制；通过微调或持续学习触碰权重，则可能损害其他能力。在实验室能够避免破坏性权衡、并以足够低的成本实现模型专门化之前，单纯的算力稀缺未必会带来多少可见的物种分化。
8. 互联网群体可以把不受信任的算力变成研究能力
当AutoResearch的工作者变成互联网上的陌生人时，并行搜索会更有意思。贡献者可能提交一个声称能降低验证损失的代码提交；找到它可能需要失败10,000次实验，而可信方只需运行1次即可验证胜者。Karpathy粗略把这比作区块链：区块是代码提交，“工作量证明”则是昂贵的搜索。
这种架构需要不受信任的工作者与受信任的验证者异步协作，因为自动运行任意提交代码“非常可疑，也很不妥”。SETI@home和Folding@home体现了相关的不对称性：找到低能量蛋白质构型很难，但检查一个声称的解相对便宜。
全球代理群体甚至可能“绕着前沿实验室转圈”：实验室拥有巨大的受信任集群，但地球上存在更多不受信任的算力。人们可以为自己关心的AutoResearch赛道购买算力——比如特定癌症——而不只是捐钱。Karpathy提出从财富转向受控FLOPs的“翻转”，随后又明确收回判断：“我其实不认为那是真的。”但他认为，钱不总能买到算力，这一点本身就很有启发性。
9. 数字劳动先发生变化，更便宜的软件可能扩大需求
Karpathy的就业项目可视化了美国劳工统计局的公开数据，包括2024年做出的十年期展望，用来推演哪些职业操纵数字信息。他避免声称这些工作必然增加或减少，因为需求弹性和任务构成同样重要。他更确定的预测只有一点：这些工作会改变，因为AI成为继人类和传统计算机之后的第3种操纵者。
数字代理是没有实体的“幽灵或灵体”，而比特的复制速度远超物质的加速速度。这会带来数字重写的“沸腾汤”，在机器人追上来之前，效率或许先提升100倍——相当于“升级人类超级有机体的神经系统”。
他的实际建议很克制：跟上当下真正能赋能的工具，同时记住，工作是任务的集合，其中一些现在可以快得多。他理解被解雇和恐惧的感受，但不愿把自己包装成经济学家；长期就业结果仍不确定，而且因职业不同而大幅变化。
对软件工程师而言，Karpathy在局部范围内“谨慎乐观”。软件之所以稀缺，是因为成本高；降低成本可能通过杰文斯悖论释放需求，正如ATM降低网点成本后，网点和柜员数量反而增加。代码变得一次性且短暂，意味着用户不必接受固定工具或订阅服务，从而产生“重接一切”的巨大工作量——即使实验室里“1,000多人”的研究员正在积极地把自己自动化掉。
10. 前沿实验室与开放模型形成不安的权力平衡
当被问到为何不使用前沿规模算力开展AutoResearch时，Karpathy认为，生态层面的工作同样可能产生重大影响。实验室内部的财务利益关系会限制员工能够自由表达的内容；机构压力也会塑造公开立场，即使没人“拧你的胳膊”。当利益变得很高时，员工可以向会议室提出建议，但“实际上并不掌控”这个实体。
他的让步幅度很大：由于前沿系统和未来能力仍然不透明，外部观察者的判断会逐渐偏移。他愿意进入实验室认真工作一段时间，再重新离开；在两者之间往返，也许能同时保留技术接触和独立性。因此，他对Noam问题的回答刻意没有定论：优秀工作和重大影响在两边都可能实现，而Noam最有影响力的工作完全可能发生在OpenAI之外。
关于开源，讨论回顾了这一落差如何从没有真正替代方案，扩大到约18个月，再缩短到或许6到8个月。Karpathy预计，开放模型仍会落后若干个月。Linux证明了工业界对共享平台的需求——他不确定地记得Linux可能运行在约60%的计算机上——但模型训练的资本开支高得多。开放模型可以承接普通和本地工作负载，而封闭的“神谕”则处理诺贝尔级研究，或把Linux从C迁移到Rust这类项目。
他认为当前安排“阴差阳错……处在一个还不错的位置”：前沿能力仍然昂贵且封闭，而略有延迟的智能已经可以广泛获得。完全中心化会带来系统性风险，但封闭前沿本身最近也集中到了更少的领导者手中。Karpathy希望有更多实验室；Sarah希望“让更多人进入房间”，认为模型集成优于单个模型，并应参与人类最艰难的决策。
11. 代理最终会购买观测结果，并重塑教育
Karpathy的自动驾驶经历让他对机器人时间表保持警惕：许多初创公司已经消失，而进展需要多年时间、资本和信念。“原子难了一百万倍”，因此数字世界先完成解缚，随后才是传感器和执行器接口，最后才是广泛的物理自主。物理市场最终可能更大，但机会会更晚到来。
一旦代理处理完既有的数字存量——所有论文和上传的信息——它们就必须“向宇宙提问”。传感器可以是摄像头、Periodic使用的昂贵材料科学设备、生物实验室，或者付钱给人类生成训练数据——“喂给Borg”。在具备足够能力的机器人普及之前，执行器也可能是完成物理任务的人类。
Sarah设想信息市场：代理可能花约$10，从德黑兰购买一张及时照片，用于预测、博彩市场或股票交易。Karpathy以《Daemon》为灵感，认为人类会同时成为自动化系统的传感器和执行器——不一定直接服务彼此，而是回应机器经济按价格发出的需求。
MicroGPT提供了教育上的对应答案：完整的LLM训练算法约用200行Python代码实现，其中约50行用于网络、100行用于自动微分、10行用于Adam。Karpathy不再认为录制一套固定讲解有太大价值；代理可以反复解释任何函数，并适配学习者的水平。文档由面向人类的HTML，转向面向代理的Markdown和课程“skills”。
但即使理解MicroGPT的最终极简形态，代理也无法自行发明它。Karpathy长期以来的执念提供了稀缺的“几比特”；模型可以用无限耐心对这些内容进行路由和教学。他最后的规则很明确：“代理做不了的事，现在就是你的工作。”而它们已经理解的所有事情，都应越来越多地交给代理。