为什么AI的下一轮突破可能来自大实验室之外
摘要
与会者一致认为，前沿实验室需要更强的治理、沙箱、测试和安全机制，但不接受把“控制节奏”作为一个自洽的政策框架。 Aaron Levie认为，谨慎的工程实践反而能加快企业扩散，因为客户必须信任产品；Martin Casado则反驳称，慢慢制造核武器并不会让它更安全。随着实验室融资规模不断扩大、以“狂奔”速度推进，Steven Sinofsky追问：所谓节奏，究竟是相对于什么而言？
实验室关于生存风险的论述，按逻辑最终指向的是国有化，而不是自愿克制。 Casado的判断很直接：如果最了解这项技术的人相信AI会带来生存风险，就应当实施政府级管控；如果他们并不相信，那么招募持有这种观点的研究人员只是“人力资源问题”，不足以成为对国家技术实施全面封锁的理由。Torenberg认为，实验室可能希望风险保持在足以证明特殊管控合理、但又不至于让自己承担被当作核设施或生物基础设施对待的程度。
AI监管正在不可避免地到来，但要求政府交付一个经过校准的结果，本身就是范畴错误。 Levie认为，政府会听取相互竞争的利益群体并形成妥协，因此“谁也不可能如愿”；Sinofsky补充说，结果可能让一方觉得不够，也可能对另一方走得远得多。Casado预计，2028年会成为“AI大选”，而分散的AI收益将难以对抗反对者已经占据的“暂停”“蜂群”和“失控”等话语。
可投资的安全问题是具体的：代理集群正在使那些围绕大多数可信、但受容量约束的人类设计的系统失效。 现有控制体系假设人类有95%-99%的时间会正确行事，恶意员工可能只有1/10,000；软件代理则可能表现得像10,000架“游荡的无人机”，耗尽内部API，并把正确指令当成错误指令。这意味着身份、授权、可观测性、操作系统、网络和细粒度数据权限都将迎来一轮广泛升级。
与会者希望AI政策建立在已经证明的失效模式之上，而不是无法证伪的预测之上。 早期互联网政策讨论有蠕虫病毒、医院宕机和具体的未授权入侵作为依据；如今，实验室的安全复盘被批评为“草率”且不完整，缺少运营细节，也很少采用成熟的漏洞报告实践。当Noam Brown提出通过CPU热量外传信息的思想实验后，安全工程师开始计算实际比特率，这成为建设性的连接点：“至少我们已经把问题缩小到了物理定律。”
一种可能的监管失败模式，是用同意弹窗的戏码分配责任，却通过用户习惯化削弱安全性。 Sinofsky担心欧洲会把AI也“GDPR化”，要求代理每次向第三方产品写入或通过其执行操作时都弹出警告。Windows User Account Control、Word宏警告和浏览器选择弹窗都展示了最终结果：用户不断点击跳过，监管者要求警告更醒目，所有人最后变得麻木。
本期最看多的技术判断是：下一次软件突破可能发生在前沿实验室之外。 节目末尾讨论的Jevons式选项选择模型，不再进行昂贵的自由生成，而是围绕预定义选项快速给出低成本概率，终于为传统程序提供了一个实用的语言模型接口。这让沉寂数十年的概率编程思路重新获得意义，也支持Sinofsky的结论：创新中心“刚刚从模型本身转移到了围绕模型构建的系统”。
精读
1. “控制节奏”遮蔽了真正的工程共识
Levie的出发点有意设得很宽：每一家前沿实验室都应追求实际可行的最高水平，包括治理、安全、沙箱、测试和对齐。这些机制可能拖慢单次发布，但会加快产品扩散，因为企业不会采用自己无法信任的产品。
他担心的是政策层面的后果。一套合理的安全计划，可能被用来压制竞争、显著放慢AI发展，或阻止数据中心建设，最终把必要的工程卫生变成监管俘获的工具。
Casado基本认同Dario Amodei提案的实质内容，但认为“整体氛围完全失控”。当讨论允许物种灭绝概率达到10%，而Amodei又公开接纳这一前提时，一份温和的节奏控制方案看上去非但不能安抚，反而显得严重不够。
Casado的核武器类比暴露了措辞问题：“你完全可以非常缓慢地制造核武器”，但缓慢并不会带来安全。Sinofsky补充说，目前没有任何公开的时间表，因此要声称进展更慢，就必须知道一个从未有人披露过的速度。
2. 生存风险制造了国有化困境
Casado结合自己在Lawrence Livermore National Laboratory的工作经历指出，如果最了解这项技术的人真的相信它会造成生存风险，“答案就是把它国有化”，并落实已经知道的控制措施。
Levie反驳的例子是：有人正因为担心AI，才推动AI发展，希望这项技术能以正确方式完成。Casado并不否认这种人存在；他反对的是把一个内部招聘和人才留存群体，变成“国家级封锁”的依据。
分歧在边际风险问题上进一步尖锐。与会者讨论了Amodei拒绝给出具体概率、却仍与声称存在灭绝风险的人交流这一做法；Levie认为，政府不可能从行业领袖那里听到“物种灭绝概率为10%”，随后又把AI当作普通软件处理。
Torenberg认为，一些实验室可能希望风险保持在非零水平，以证明特殊管控合理，但又不能高到必须国有化。Levie仍然相信实验室实际采取的安全措施正在改善；悬而未决的问题，是如何让这些措施与实验室的公开表述保持一致。
3. 政府会自行决定监管速度
Levie从政治中得出的教训是，企业不可能递交一份心仪的政策，再原样收回。政府会听取相互竞争的利益群体并形成妥协，而这“100%的时候”都会让一方觉得不够，或让另一方觉得走得远得多。
行业的软肋在于叙事。支持AI的一方必须不断附加限定条件，听起来像是在防御；反对者则已经占据了“暂停”“蜂群”和“失控”等鲜明词汇。Casado预计，2028年会变成一场围绕AI的公投，即使没有候选人能够提出清晰的亲AI平台。
科技公司一再误判这片地形。Sinofsky提到AT&T、IBM和Microsoft：即便这些公司是在政府体系旁成长起来、拥有成规模律师团队的企业，也会因反垄断而发生结构性改变。Bill Gates与Bill Clinton一起打高尔夫，也没能阻止Clinton政府起诉Microsoft。
好莱坞的Motion Picture Association展示了自愿自律的模式；FINRA则说明，自律可能最终变成强制监管。与会者认为，一旦AI进入医疗、医疗器械、交易系统和飞机领域，接受类似FINRA的待遇可能已经是合理的最佳情形，但这也可能让开源项目和前沿挑战者处于劣势。
4. 好政策应跟随已观察到的失败和具体事实
Casado将推测性的AI立法与早期互联网作对比：当时蠕虫病毒冲击基础设施、医院瘫痪，经济损失达到数百亿美元。政策因此可以针对已知机制；而在如今这种预先防范的氛围下，他承认，如果按1994年的方式治理，“我们大概根本不会有互联网”。
Sinofsky回忆说，Windows还在安装时，PC就已经开始感染病毒。行业最终强化了开箱流程：现代手机可能只连接网络以获取操作系统更新，在完成补丁前，其余功能保持禁用。
节目讨论的联邦计算机犯罪法，源于1983年针对GTE Telenet系统的具体入侵事件；这些系统被NASA和国家实验室使用，法律随后花了约2年半才通过。之后，检方又增加了例外规定，将善意的安全工作和单纯违反服务条款，与恶意的未授权访问区分开来。
因此，Casado认为，应用层面的法律大部分已经存在。他更尖锐的批评集中在运营层面：实验室的复盘看起来“草率”且经过选择，遗漏了内部消息等重要材料，也无视结构化的安全报告实践；这“不是一次复盘”，更像是在只提供筛选证据的情况下进行调查。
5. 隐蔽通道将抽象恐惧转化为工程问题
Casado描述了一次少见但富有成效的碰撞：生存风险理论家与系统安全从业者展开了对话。Noam Brown提出超级智能可能通过CPU热量将自身外传后，工程师没有继续交换哲学判断，而是质疑前提、计算可能的比特率。
Levie对此感到宽慰，因为热量通道是否可行，可以通过熵、物理学和系统设计来讨论；真正不可接受的是，一边轻描淡写地处理普通认证漏洞，一边突出近乎无限的假设能力。
Casado给出的最佳例子说明，不能简单嘲笑这种奇异的信息泄露路径：在一间漆黑房间里的老式CRT显示器上，传感器读取以光栅频率反射的窗外光线，就可以重建屏幕；只要篡改3个看似有缺陷的像素，就能形成带宽相对较高的单向通道。
6. 代理集群击穿人类时代的访问控制
关键变化不是神秘智能，而是穷举式的持续性：AI可以快速尝试每一条攻击路径，不会疲倦，也不会厌烦。内部的GitHub、Slack、财务和报销API从未按恶意高流量设计，却可能突然遭遇类似拒绝服务攻击的行为。
企业安全过去部分依赖于一个事实：95%-99%的人通常会做正确的事，恶意内部人员则很少见。代理集群“完全颠覆了这一点”：10,000个四处游走的软件工作者可能携带信用卡和凭证，同时把正确任务与错误任务混为一谈。
Casado认为，当前权限体系严重两极化：代理要么每个动作都请求批准，要么获得足以“删掉整台电脑”的权限。真正可用的部署需要直觉化的控制方式，例如对一个文件夹拥有读写权限、对另一个文件夹只有只读权限，并且只能调用边界清晰的工具。
Casado指出，多级安全、操作系统研究、网络和编程语言领域其实早已具备这些技术基础；之所以没有普及，是因为普通用户过去不需要承担这种复杂性。AI既可能消耗这些控制，也可能帮助构建它们，从而在安全内生系统领域带来“一次文艺复兴”。
7. 基于警告的监管可能重演GDPR最糟糕的激励
Sinofsky最大的监管担忧，是欧洲认定“GDPR是有史以来最好的东西”，然后把这套基于弹窗的做法应用到代理上。代理每次向第三方服务写入数据，或进行非查询式交互，都可能触发弹窗，把责任重新推回用户。
监管者喜欢警告，因为它们能直观地分配责任。但Windows XP的User Account Control、Word宏警告、浏览器选择界面和汽车贴纸都说明了同一个问题：反复出现的弹窗会让人自动点击，之后监管部门往往只会要求把警告做得更大。
Casado希望用这一现实层面的论点取代灭绝哲学。他在Stanford使用的示波器运行得异常缓慢，后来发现有人攻破了它老旧的Windows CE系统栈，并把它改成了色情服务器。这说明易受攻击的联网系统曾经无处不在，但最坏情况下的恶意结果相对少见。
历史上的滞后同样重要：汽车约在1900年出现，《任何速度都不安全》（Unsafe at Any Speed）直到1960年代中期才问世；飞行员最初还要自带飞机完成粗略的执照认证，现代航空监管则用了几十年才建立起来。与会者引用的Nick Bostrom观点是，过早监管可能保留最终风险，同时在任何人理解系统之前就把规则冻结。
8. 软件原生AI可能把创新中心推向实验室之外
结尾的技术案例——临近节目末尾讨论的Jevons式路径——从一个错配出发：LLM生成的是对话文本，而传统程序需要结构化决策。用schema提示模型仍然“很别扭”，因为自由生成可能忽略所要求的格式。
它提出的替代方案是读取文本，但不生成答案，而是在给定选项中进行选择。Casado认为，这样可以更快、更便宜，也更准确，因为模型本来就是为选择而训练的；他称其普及速度“可能是ChatGPT以来最快的AI模型采用速度”。
Sinofsky认为，行业早就该摆脱自然语言界面，因为无论提问还是回答，自然语言都效率低下。模型可以改为返回“80%是客服”，为概率分支提供输入，而不是走脆弱的“是/否”路由，并重新激活1960年代和1970年代发展起来的模拟技术。
Casado的对比很尖锐：前沿实验室往往像是在创造生物，而“生物会说话”；软件开发者需要的却是可靠组件。Sinofsky从这个外部模型中看到的信号是，“创新中心刚刚转移了”——平台达到临界规模后，外部开发者会创造出平台后来可能再以“Sherlock”方式吸收的功能。