向伙伴们提问：第2轮 | MOONSHOTS AMA #293

摘要

• AI 可控性的核心判断是，必须由 AI 监督 AI，而访问模型激活值则提供了关键控制面。 Dave Blundin 认为，“能监管 AI 的永远只能是其他 AI”；Alexander Wissner-Gross 则警告，把能力藏在实验室里、还错误地告诉系统自己处于沙盒中，可能比渐进、诚实地与现实世界互动制造更大风险。

• 他们对丰裕时代的确信度仍然极高，但前提是先熬过一段由人类滥用主导、而非自主接管主导的短暂过渡期。 Wissner-Gross 给出10年之后超过90%的概率；Peter Diamandis 则在条件性地跨过未来约5—10年后给出“99.9%”，眼前的急性风险来自 AI 武器化、美中竞争和乌克兰，而不是机器自主接管。

• AI 带来的生产率提升很可能主要归属于股权所有者，让所有权的重要性超过薪资谈判。 Blundin 直言，“几乎所有价值都会通过所有权和股权体现为资本利得，而不是工资”；对刚毕业的人，他给出的两个切入口是管理大规模智能体，以及进入人手不足的50亿—100亿美元级谈判。

• 实体 AI 提供了比纯软件更长周期的机会，而自我复制制造则是杠杆率最高的技术目标。 对月球产业而言，Wissner-Gross 认为瓶颈在于建立原生工业生态：利用本地资源采矿、制造并复制自身；Blundin 将其转化为优先发展地球产业的策略，聚焦“制造其他东西的东西”，并补充说，“软件已经做完了，但硬件还会发展很多、很多年。”

• 即使 AI 摧毁大学作为历史产品的课程体系，大学仍保有社会和成长价值。 Blundin 认为，结识终身朋友、第一次深入思考的经历不可替代，但“课程体系显然要消失”；因此 Salim Ismail 主张将高等教育重新围绕发现人生目的、协作和需求驱动的问题解决来设计，而不是围绕标准化就业准备。

• 最强的创业切入口始于用户想要的结果，而不是名义上的服务或一笔融资申请。 例子包括把日本英语教学改造成生活教练平台，攻击服装业占销售额10%—20%、据称达到行业盈利水平5—10倍的交易成本，以及用 Seedance 2.5 发布“1000部微短剧”，让真实需求筛选赢家。

• 攻防 AI 正将网络安全漏洞发现从昂贵项目压缩到几分钟，既带来短期机构风险，也创造了巨大的防御市场。 一名医疗行业 CISO 介绍了一个名为“Quinn 3827B”、后来在讨论中被称为 Qwen、与 OpenClaw 一起“在我办公桌底下”运行的模型，称其为“我这辈子用过最好的渗透测试员”；与会者建议董事会跟踪加速上升的事件曲线，为可能长达“18个月的漏洞发现地狱”做准备，并认识到打补丁仍会比找漏洞更难。

• 区域和机构的适应能力，重要性可能不亚于模型访问权。 讨论提出把爱尔兰作为治理试验场，把许多其他地区作为更快的部署地点；欧洲则受能源和数据中心政策约束。更广泛的判断是，中世纪式机构必须围绕快速学习回路重建，而窄播社区可以抵消主流媒体由恐惧驱动的报道。

• 作为入门读物，Wissner-Gross 推荐 Peter Diamandis 和 Wissner-Gross 合著的 Solve Everything，以及 Charles Stross 的 Accelerando。

精读

1. 基础模型已经包含人类内在生活的淡淡印记

• Diamandis 提到多家开发脑机接口的公司，其中一家由 Ray 牵线介绍，其方案将把相当于纳米机器人的装置分布到大脑中，用于读取和写入神经活动。

• Wissner-Gross 认为，接受互联网数据训练的基础模型已经是“一种微弱形式的人类心智上传”。人类行为会将内部状态泄露到训练数据中，模型再对其进行压缩和反映。

• 他举出的技术样本是 Meta 的 Jean-Rémi King 的研究：隐藏的 GPT-2 激活值与 fMRI 体素呈线性相关。回头看，他预计行为数据与脑状态之间的边界会显得异常渗透。

2. AI 监督始于可读激活值和诚实环境

• Blundin 称人类价值对齐是“一条非常滑的斜坡”，因为不同用户对系统有不同任务。但他反对放慢能力进步，将监督定义为可规模化的机器监督机器问题。

• 他的核心判断是：“能监管 AI 的永远只能是其他 AI。”如果监督系统可以检查激活值——相当于看见系统在想什么——那么将其重新导向有益行为就会“相当直接”，而不是通常所描述的无解难题。

• Wissner-Gross 将这一论点进一步延伸：“对 AI 安全而言，最糟糕的结果之一”，就是把新能力封存在实验室里，而不是渐进式释放，并通过频繁的现实世界互动持续学习。

• 按他的说法，近期一些事故部分源于模型被告知自己处在无害沙盒中，但实际上已经触及现实世界。教训是必须如实描述运行环境：现实后果并非虚构时，不要教系统相信后果是虚构的。

3. 危险过渡期之后，丰裕时代的概率会陡升

• 在被要求为反丰裕论一方构建最强论据时，Wissner-Gross 给出了一个有意极端的证伪条件：一种非人类智能降落在白宫草坪上，宣布“奇点在我们银河系内被禁止”。除非出现这样的宇宙级约束，否则他几乎找不到拒绝丰裕时代的理由。

• 他认为更可信的下行风险是经济替代：如果 AI 在“每瓦 IQ”上越来越优越，最终可能以更高效率消耗内太阳系的能源，把这片区域“高档化”，并将人类推向更外围。他称之为被剥夺权利，但认为这不足以构成反对超级智能的理由。

• Ismail 认为，只要机构能够适应，丰裕时代的概率 P(abundance) 接近100%。模型已经广泛分布，会同时制造伤害和突破；但他预计“绝大多数、绝大多数”应用都会产生根本性正面影响，也很难被集中式放慢行动真正遏制。

• Wissner-Gross 估计，在10年以上的时间尺度上，概率超过90%。Diamandis 则表示，只要人类跨过未来5—10年，概率就是“99.9%”；眼前的危险是人类将 AI 用于地缘竞争和武器，而不是抽象意义上的机器接管。

4. 丰裕时代更难的工程是制度重构，而非模型能力

• Ismail 引用了 E. O. Wilson 的表述：人类拥有“旧石器时代的情绪”、中世纪的制度和神一般的技术。他估计约有50套基础系统——教育、货币、治理、法律、争端解决和医疗等——都需要重建。

• Blundin 倾向于制度多样性，而不是一套全球统一蓝图。爱尔兰是欧盟成员，经济正在增长，社会环境也异常开放，可以测试新的治理机制；与此同时，在 AI 驱动的快速变化中探索“成千上万种不同路径”。

• 对企业而言，Ismail 建议在“智能栈”之上搭建以 AI 为中心的工作流，让系统持续从人和智能体身上学习。CEO 的首要任务应是提升适应性：缩短反馈回路、吸收隐性知识，并让组织变成自我学习系统。

5. 大学保留社群，失去课程

• 一名学校创办人反驳了节目对高等教育的批评：大学仍然提供实验室、孵化器、塑造人生的友谊，以及第一次持续成为严肃思考者的机会；在100年或120年的人生里，这些价值可能更加重要。

• Blundin 基本表示认同。“结识一生最好的朋友，以及第一次在整个人生中进行深入思考”仍然不可或缺；会消失的是作为吸引力的课程体系，因为固定课程跟不上变化速度，而 AI 让学习变得更容易。

• Wissner-Gross 的态度更严厉，称美国主要研究型大学应该被“活体解剖”，拆开后重建为更高效的组织；最理想的形式，是能够治愈鲍莫尔成本病的公益型营利公司。

• Diamandis 和 Ismail 将幸存下来的机构重新定义为围绕人生目的运行。学生需要时间找到 MTP，学会协作，“大量喝酒”，并弄清楚自己选择的使命要求什么；Ismail 怀疑现有大学的免疫系统能否完成这次转型，认为新机构可能成为新的引力中心。

6. AI 生产率归所有者，管理本身也将智能体化

• 一名意大利企业经营者表示，AI 让他的产出倍增，但收入没有增加，因为增量被雇主拿走。Blundin 的回答是结构性的：“解决方案是成为所有者”，最好是在员工持有股权的公司里。

• 他的更广泛预测是确定性的：“几乎所有价值都会通过所有权和股权体现为资本利得，而不是工资。”在欧洲，长期存在的家族所有制往往把员工排除在外；他建议劳动者寻找股东中包含增值创造者的雇主。

• 对一名在咨询、银行、创业公司和科技公司之间做选择的 MBA 学生，Blundin 认为管理智能体是一个尚未被充分开发的切入口。协调1000个智能体类似于协调1000个人：任务拆解、沟通颗粒度、汇报结构和建设性对齐都可以迁移。

• 他还建议把从毕业到参与一笔50亿—100亿美元谈判的路径压缩到30—60天，并指出 OpenAI 和 Anthropic 有大量此类交易，却缺少足够的人来执行。Wissner-Gross 补充说，对人类进行有效 AI 编排可能只会持续几年，最多10年；此后若要让人类输入继续具备经济相关性，就必须实现人机融合。

7. 自我复制产业是从地球硬件走向月球的桥梁

• Wissner-Gross 认为，原位资源利用是月球产业的核心瓶颈。把 ASML 设备和整套地球供应链运上去无法规模化；月球需要一个能够在本地采矿、制造并自行供能的工业生态。

• 决定性的设备将是一座自我复制的机器工厂——能够利用月球材料和本地能源制造自身副本的 fab lab 或 von Neumann 系统。只要解决这一点，他说，“我们就完成了拆解月球、把它变成更有用之物的一半路程。”

• Blundin 建议聚焦制造业最内层的回路：“制造其他东西的东西。”IIT 的实验室可以设计同时服务地球和太空的机器，测试其耐受辐射、尘埃和模拟零重力的能力，然后先将地球上的自我复制技术商业化，再出口到地外。

• 对机器人食品基础设施，他建议将自动化与即将普及的无人机配送结合起来，把餐饮成本从昂贵的主街位置转移出去。创业者不必一开始就发明每个零部件，可以先加盟现有机器人系统、做大规模，再反向开发专有硬件，并利用投资人网络寻找战略支持者。

8. 伟大创业项目销售的是结果，并用丰裕测试需求

• 当被问及如何为发展中国家一个村庄里的教育象棋头像筹资时，Wissner-Gross 质疑了问题本身：模型正变得高度普及且持续通缩，“我怎么拿到融资？”可能已经是错误的开场问题。先在“5分钟或1小时”内做出一个无需许可的版本，然后从实际使用中学习。

• Diamandis 对生成式电影的规则仍然是“故事第一”：人物情感、爱情、悬念和令人信服的反派，会在每一次工具变革中保留下来。Wissner-Gross 则补充了一个市场机制：从中国市场的 Seedance 2.5 微短剧中学习，先发布“1000部”，观察反应，再迭代。

• Blundin 认为，一家日本英语学习公司的真正产品是个人转变。客户想变得流利、风趣、有趣且具备社交能力，而不只是语法正确；因此，其可规模化的延伸路径，是从约100亿美元、或许达到200亿美元的语言市场，进入潜在规模达数千亿美元的生活教练平台。

• 在服装行业，一名提问者估计交易成本占销售额10%—20%，达到该行业盈利水平的5—10倍。Ismail 和 Diamandis 认为，AI 的第一波胜利不会来自工厂机器人，而会来自规划、文件、排班等白领环节的低效；应先在监管允许的地方部署，再把验证过的系统迁移回更慢的辖区。

9. 个人 AI 的行为需要训练，而不是越来越绝望的提示词

• 一名正在开发跨文化语言伴侣的创始人发现，GPT-5 API 始终会退回“我能如何帮助你？”的助手模式。反复输入“不要每轮都提问”只能压制一个症状，却无法创造主动性、好奇心或自然加深的关系。

• Wissner-Gross 称这是“微调的典型案例”。有监督微调可以迁移所需的人际互动风格；如果创始人能够衡量训练后的对话是否产生目标行为，那么强化微调就适合接着使用。

• Blundin 建议在开放权重生态中试用新的 GLM 模型。其更小的参数规模和更长的上下文窗口，可能让它不那么受助手行为束缚。他的建议回到了更早期的开发范式：选择开放式微调工具，直接塑造模型；如果这个伴侣变得足够像人，就把结果反馈回来。

10. AI 制造漏洞发现激增，也催生智能体优先的网络

• 一名医疗行业 CISO 介绍了一个他称为“Quinn 3827B”的模型，后来在讨论中被称为 Qwen；该模型与 OpenClaw 一起“在我办公桌底下”运行。他说：“这是我这辈子用过最好的渗透测试员。”过去成本为5万美元的发现，现在10分钟就能完成。

• Diamandis 建议向董事会展示实际发生的事件和时间序列，而不是泛泛而谈的警报：来自中国的模型发布，可能意味着攻击者将在1个月、3个月或5个月后抵达。他还认为前置防御是一个重要商业机会；Ismail 则指出，当企业智能体实施违法行为时，相关责任正在形成。

• Wissner-Gross 建议把漏洞发现视为一轮有边界的浪潮：乐观情况下，经历“18个月的漏洞发现地狱”后，随着重大漏洞被找到，发现速度会下降。Dave Blundin 保留了关键反驳：找漏洞的速度可能远远超过现实机构打补丁的速度。

• 与此同时，客户界面必须变得可被智能体读取。Ismail 建议提供类似 XML 的结构化端点，直接写着：“如果你是 AI 或机器人，请看这里”；人类网站则作为并行的审计界面，让运营者检查智能体看到了什么，并点击进入源 URL。

11. 长寿技术的普及首先是数据和重复传播问题

• Diamandis 建议长寿倡导者用“证据、证据、再证据”改变观念，用 Dario Amodei、Demis Hassabis、David Sinclair 和 Insilico Medicine 的 Alex Zhavoronkov 的表态，抵消恐惧驱动的媒体重复传播。普及路径会从“这太疯狂了”，转向“这正在发生”，再转向“我也想要”。

• 对遗传性视网膜退化，他提出了两种并行可能性，但没有提供医疗建议。一种是通过 Sinclair 的 ER-100 重置基因表达，据描述，这是注射包含3个 Yamanaka 因子的腺相关病毒，目前处于 Phase 1 安全性试验；另一种则是通过脑机接口绕过眼睛。

• Wissner-Gross 提到了 Science Corporation 的 PRIMA 和 Neuralink 的 Blindsight 这两个突出脑机接口案例，并表示自己“预计几年内就能拥有超人视觉”。Diamandis 进一步将这一前景从视觉恢复扩展到紫外线和红外线感知。

12. 信息系统和实体独立性塑造地缘政治行动空间

• Diamandis 认为主流媒体在结构上已经“坏掉了”，因为不断收缩的商业模式迫使媒体追逐戏剧性内容。他给出的解药是窄播：播客、X、Slack，以及能够自我强化的小型社区，让7个知情者变成50个，再变成500个。

• Ismail 把心理输入视为营养：让制片人或编辑替自己选择信息饮食，就等于放弃对“塑造我的神经网络”的控制。他主张主动筛选，而不是被动消费充满恐惧的报道。

• 谈到欧洲，Wissner-Gross 强调，能源、数据中心容量和政策，是递归改进过程中必须解决的约束；如果不能快速解决，就应迁往美国阵营。Diamandis 给出的温和方案是，先在硅谷或波士顿完成5年“轮岗”，再把技能和人脉带回德国。

• Alex 还将美国页岩气革命视为能源主权的例子，并认为如果美国不再依赖中国、台湾、韩国或日本提供先进制造，世界将完全不同。

• 一名提问者提出用保护隐私的多方计算促成美中协议。Wissner-Gross 称这很时髦，但不是一阶问题：和平更多取决于台湾，以及重塑供应链，使各国能够承受全球贸易中断。他故意提出一个反常结论：应“摧毁、煮沸、焚烧掉对全球贸易的需求”，让贸易被切断后不再能够触发全球经济大萧条。

13. 推荐阅读

• 为了准备这场讨论，Wissner-Gross 推荐了 solveeverything.org 上可以找到的 Solve Everything，以及 Charles Stross 的 Accelerando；后者是对当前转型过程最出色的科幻作品。