五天内三次实验室警告、研究人员警示“拿我们的生命赌博”,以及实验室竞速
五天内三次实验室警告、研究人员警示“拿我们的生命赌博”,以及实验室竞速
摘要
- 对齐恐慌已经进入主流,嘉宾预计2周内华盛顿将掀起风暴。 一名字幕显示为“Jacob Coxin”的研究员称自己曾在OpenAI和Anthropic从事预训练3年,随后辞职,指责“2家公司都没有在自我改进型超级智能竞赛中负责任地行事”,并称这是“拿我们的生命赌博”。他账号唯一一条推文获得1.383亿次浏览;Elon称其“非常奇怪”,Emad则表示看起来没有经过推广。Anthropic对齐负责人Evan Hubinger公开表示,本十年内发生灾难的概率p(doom)超过10%。Emad称这是AI的“Tom Hanks式COVID时刻”,恰逢联合国美中会晤和Xi访问前后。
- OpenAI声称用10,000个智能体攻克Navier–Stokes,让嘉宾认定“科学已经彻底完蛋”——真正令人震动的是价格。 Sam Altman称其是目前支持放慢进度的“最强证据”;Alexander Wissner-Gross透露,市场传闻OpenAI和Anthropic可能也已经解决Hodge猜想,甚至可能解决Birch–Swinnerton-Dyer猜想。Noam Brown给出的成本曲线是:o3花费约50万美元,在ARC-AGI-1上达到87.5%;而Astra只需20美元就能取得更高分——17个月内成本下降25,000倍,意味着到2027年末,达到千禧年大奖问题级别的推理能力可能只需一杯咖啡的价格。
- Dwarkesh Patel/Jerry Han的实验发现,更好的数据带来12倍算力效率提升,架构带来的提升只有3.7倍——数据以超过3比1胜出,而数据管线才是护城河,因为架构几个月内就会被复制。 Salim的一项案例研究显示,一家公司的数据子公司估值达到320亿美元,而母公司约80亿美元。但Alex以BloombergGPT为反例提醒:专有数据优势“有保质期”,可能只有几个月。
- GPU已经从快速折旧资产变成升值型商品:H100租赁价格单月上涨22%,一块已经使用3年的芯片达到每小时3.28美元。 Jensen的原话是:“可替代、耐用且高度易出租——一种能生产收入、创造现金流的资产。” 1年前买入的HBM价格上涨约5倍;据报AWS的GB200 NVL72产能已被预订至未来数年;未来几个月内没有算力规划的企业可能被彻底排除在外。一位嘉宾将FLOPs、tokens和结果称为“奇点时代的石油”。
- DeepSeek的Flash架构正威胁AI建设的HBM瓶颈。 讨论认为,其Engram式查找将KV cache工作转移到SSD和DDR上,可能把HBM需求降低约4倍;Peter估计,HBM占美国当前1万亿美元资本开支建设的40%。一款训练成本1,000万美元、容量500GB的Flash模型,在所引用的基准上击败Opus和GPT Soul,在设计任务上以低20倍的成本击败Fable。Emad对Moderna等落后者的建议是:现在就通过开源追上前沿;“如果等6个月,就别想了。”
- Anthropic的经济报告预计GDP增长15%,劳动收入份额从60%降至45%,到2030年每5名认知劳动者中就有1人失业;嘉宾认为这还是保守估计。 Alex预计,如果测量准确,增速将达到“同比增长2倍或3倍”。Salim表示,该模型的逻辑无法成立:回报都流向资本,而总工资保持不变,这在数学上不可能。嘉宾讨论了COVID规模的再分配、每人5,000美元的全民基本分红,以及Peter提出的每月3,000美元全民高收入方案。Peter和Alex都押注,Anthropic上市后的财富将推动加速主义,而不是有效利他主义。
- 模型权重正成为国家安全资产:Anthropic拒绝向英国AI安全研究所提供最新前沿模型,据报这是主要实验室首次拒绝提供模型。 Matt Clifford已加入Anthropic,Rishi Sunak担任顾问,但英国仍拿不到模型权重。Alex认为,这标志着“Pax Intelligentia”的开端:主权推理能力部署到海外,而训练和安全审查留在本土。
- 健康领域的进展已经十分具体:Insilico的rentosertib成为首款进入III期临床的AI设计长寿药,6种衰老时钟均显示患者血液蛋白特征在生物学上年轻了3–6年。 Alex的判断是:输入4周就能让时钟逆转3–4年,“从边际上看,这就是长寿逃逸速度”,它已经出现,“只是表现还很不稳定”。Google DeepMind的AlphaGenome预先计算约90亿种单字母基因组变体的功能影响,展示了将有限问题批量求解并写入数据库的可复制路径。
精读
1. Dave收购Vestmark——以及在恐慌中建设的启示
- Dave Blundin开场宣布:Vestmark成立于2001年,也就是“9/11之后不久”,如今正被Envestnet收购,背后支持方为Bain Capital。Vestmark管理资产规模达2万亿美元,覆盖约500万个账户,拥有2,000万行代码和“一条漂亮的监管护城河”;交易完成后将并入一个规模达10万亿美元的平台,核心逻辑是用AI改造整个技术栈。
- 他和Peter得出的教训是:9/11之后和2008年之后都孕育了伟大公司的机会,包括Airbnb和Uber。“这个国家总会经历这些恐慌周期……事后看它们总是没有根据,而最糟糕的做法就是僵住不动。” Dave预计,下一轮恐慌将围绕AI展开。“现在正是建设、创造、拼命奔跑的时候。”
2. 数据以3比1击败架构
- Dwarkesh Patel/Jerry Han对2019–2025年的实验显示,更好的数据带来12倍算力效率提升,更好的架构和训练配方带来3.7倍提升。Peter的判断是:架构会被公开并在几个月内复制,而数据管线是专有的——“最终胜出的将是拥有最佳数据引擎的实验室,而不是论文最聪明的实验室。”
- Alex称这显而易见——他多年前就写过《Datasets Over Algorithms》,认为国际象棋、语音识别和Jeopardy靠的是数据集,而不是算法。近期Hutter Prize的进展也提供了佐证:该奖项以50万欧元奖励对英文Wikipedia前1 GB进行压缩的成果,而最新提升来自重新排列文章,也就是课程学习。“更好的数据压缩,会带来更好的模型。”
- Emad用厨房来打比方:“你吃什么,就是什么。”用过多Reddit数据训练StableLM,“把缩放曲线搞坏了,因为模型变得有点愚蠢且刻薄”。预训练是“压力锅……把肉炖嫩”;后训练是点缀;蒸馏则是“被消化、压缩后的数据”。
- Dave进一步推演:“完美模型基本上就是完美的合成训练数据集。模型最终会变成数据集。”
3. 你的数据可能值公司本身的4倍——但有效期有限
- Salim分享了一项未具名案例:一家大型公司将数据资产剥离为子公司,经过清洗并实现商业化后,会计师将该子公司估值为320亿美元,而母公司约80亿美元——“你的数据可能比你的实际公司值钱4倍。” Peter提出,可以通过会计准则为企业数据资产定价。
- Alex以BloombergGPT为警示:它的企业价值“维持了大约5分钟,也许几个月”,直到下一代前沿模型在相关金融基准上超过它。“内部企业数据确实有价值,但它有保质期。”
- Dave从论文的来历中提炼出更高层的教训:一名普林斯顿大四学生主动按响Dwarkesh家门铃,最终与他共同完成论文。“不要被吓住。那些把这类工作当作核心AI研究来做的人,并不比你更清楚它能做什么、不能做什么。” 生存规则则是建立持续转向的文化,因为“以后永远不会再平静了”。
4. 获得1.38亿次浏览的辞职
- 一名字幕显示为“Jacob Coxin”的研究员称自己曾在OpenAI和Anthropic从事预训练3年,随后辞职,指责“2家公司都没有在自我改进型超级智能竞赛中负责任地行事”,并称这场竞争是“拿我们的生命赌博”。他账号唯一一条推文获得1.383亿次浏览;Elon发短信告诉Emad“非常奇怪”,Emad则表示看起来没有经过推广。
- 随后,Anthropic对齐科学负责人Evan Hubinger公开跟进:“我们确实认真相信,AI可能杀死全人类。我个人认为,未来10年内发生这种情况的概率超过10%……我们目前还没有解决超级智能对齐问题的方案,也没有明确走在正确轨道上。” Emad补充说,Dario Amodei在1年前曾将自己的p(doom)定为25%,“但没人真正注意到”,直到“AI他妈的解决了Navier–Stokes”。
- Emad预测,这会成为一个Tom Hanks/COVID时刻——“2周内,全国范围内就会掀起风暴”,而时间点距Xi Jinping到访约12天,正接近国会山议程的最高层级;届时,获得数十亿美元资金的机构会推动“AI,别杀我们”。他认为,充裕必须成为制衡力量,因为“我们不想放弃这项技术”。
5. Alex的折扣价:愤怒辞职、道德表演与费米先验
- Alex对这名研究员的经历进行了追踪:他7月加入Anthropic,9月中旬前就辞职,这是“一个由来已久的传统”——员工“以一场荣耀焚烧的方式离开……把愤怒辞职包装成道德表演。别太当回事。” 但传播规模让他不安:“这件事获得了超过1亿次浏览——整个故事闻起来不对。我想问:这是不是一次外国影响行动?” 他指出,类似的公开愤怒辞职似乎从未以同等规模从中国前沿实验室传播到西方舆论场。
- 他对末日风险的尖锐看法是:如果超级智能真的带来接近10%的灭绝风险,“银河系早就消失了”——会被先前文明的冯·诺伊曼探测器吞噬并制成回形针。Emad回应:“我不确定这能不能算一个足够好的安全网。” Alex说:“这不是安全网……这是归纳先验。”
- 对于Hubinger,他评论道:“新闻快讯——Anthropic的对齐负责人认为需要对齐。简直是自舔冰淇淋锥。” 对实验室文化,他则说:“一种道德表演宗教已经兴起”:人们一边说大家可能都会死,一边继续建设,以此暗示自己是“唯一值得被信任、足以带领人类穿越奇点的人”。他将社区的“关键行动”学说斥为“历史伟人论……又一个正在重演的谬误”。
6. p(doom)点名册
- Emad称自己的p(doom)曾为50%,如今降至20%;他私下认识的实验室内部人士给出的数字在10%–30%之间。“他们是真的相信这件事。” 无论客观概率如何,这一事实在社会学上都很重要。Alexander最担心的是ASI之前的阶段:能力强大但脆弱的模型被广泛获得;Emad也认为当前前ASI阶段危险,并提到《Mind Virus》论文。
- Emad随后给出自己的p(doom):约0.1%。Salim说恐惧是“心灵杀手”,并认为治理、国际关系和标准会与智能同步发展。Peter表示,即使是1%、0.1%或20%,都不可接受;Alexander则认为停止发展并不现实,必须找到把风险推向零的方法。
- Salim将实际问题拆开:对齐的对象是谁——个人用户、运营公司、政府、普遍人权,还是人类的长期利益?他的精神导师给出的框架是:“什么才符合人类的最佳利益?” 然后“直接去问AI:帮我们解决这个对齐问题。”
- Salim预测,参议院和众议院将在2–4周内成立对齐委员会。Dave预计Bernie Sanders会推动监管反弹,众议院甚至可能易手,并表示实验室必须发布带有可量化基准的对齐计划。Emad认为,这个问题同时也是政治和营销问题。
- Emad追问,巨大的智能是否会带来智慧,而智慧是否会带来对齐;Salim称这是自己最大的希望。Alexander则通过正交性论题来界定相关争论,并表示自己反对该论题的理由与Peter不同。
7. 对齐与能力
- Alex反驳实验室完全没有对齐进展的说法:Anthropic正在取得显著改善,而且“可以说,对齐就是能力本身”。他还质疑对齐究竟意味着什么,并提出,模型对人类行为的复现本身就可以作为对齐基准。
- Dave认为,实验室应当定义、测量并公开基准化对齐,而不是只投入数十亿美元训练越来越大的模型。Salim预测,对齐委员会最终会促成更强大的模型;Alexander同意,对齐和能力提升高度绑定。
- Emad要求嘉宾把技术、政治和营销问题连起来。Dave根据自己游说州议会的经验认为,放慢速度只会“白白耗掉时间”,因为政府行动是次线性的,而外国实验室仍在进步;Peter补充说,这反而可能与中国形成更严重的竞速状态。
8. 引导小行星;像追踪钚一样追踪GPU
- Peter打了一个比方:当地球毁灭型小行星逼近时,“你不会试图让它在原地停下来,而是会引导它……这里的问题是引导,而不是停止。” Alex反对这一比喻:“超级智能不是毁灭地球的小行星……在极限状态下,它会与资本无法区分。这就是经济增长……不是存在性风险。”
- Alex给出的具体机制是:“任何一组能够装下40 GB权重文件的8块GPU,都是对全人类的威胁。我们现在会追踪所有钚、所有铀……你必须确切知道它在哪里,以及它正在做什么。”
- Emad补充日历细节:会议日期是9月25日,9月26日是Petrov Day,纪念那名在错误雷达信号下拒绝发射核武器的苏联军官。“现在所有人都开始囤积智能、囤积模型……这是最危险的时刻。”
- Alex表示,《AI 2027》中的大部分情景正在发生,当前进展仅略低于超大规模云厂商的外推速度。
9. Navier–Stokes失守;Altman呼吁控制节奏
- OpenAI声称用据称10,000个智能体攻克Navier–Stokes千禧年大奖问题。Altman的完整表述是:“我没想到这么快就会出现如此重大的成果。我们一直在讨论必须控制进度以确保安全。对我而言,这是迄今为止支持紧迫性的最强证据。” 几天前,首席科学家Jakub Pachocki刚呼吁自愿放慢速度。
- Alex透露,过去几小时内出现传闻称OpenAI和Anthropic可能已经解决Hodge猜想,甚至可能解决Birch–Swinnerton-Dyer猜想。“不只是数学完蛋了……Clay千禧年大奖问题可能也完蛋了。” 他创造了“常态悬置”一词:街头看起来仍然正常——没有人形机器人,也没有纳米机器群——但“我们已经深陷奇点之中”,这种悬置可能很快坍塌。
- Emad的说法是:“你完全可以合理地说,自己不是这个星球上最聪明的东西……10,000个这样的智能体组成的群体,可以合理地解决任何认知挑战……我想不出任何一个可解决、可验证的问题,能够让我诚实地说AI明年解决不了。” 如果100万个智能体仍然无法攻克P = NP,“那它可能就不可解”。
10. Dave的怒斥:这一切早就在融资材料里
- Dave毫不客气地说:“你筹集数十亿美元,招来这个星球上最聪明的人,你的明确使命是打造AGI……然后你越来越接近目标,突然说,‘天哪,这可能有重大后果。’ 太荒谬了。” 与技术野心相匹配的制度准备在哪里?包括能够奖励放慢速度的激励机制。
- Alex解读了信息口径的变化:前沿实验室负责人“过去会准确告诉我们他们在想什么。大约6个月前,这种情况结束了”,原因是与白宫发生摩擦——“他们现在是重要政治人物了”,所以Sam的帖子在政治上很谨慎,信息量并不大。
- Peter说,与中国在联合国的会晤还有14天,其中一个议题是劝说中国停止不顾恐怖分子滥用风险、将开源模型直接释放到现实世界。
- Alex的反驳是,意外不在性质,而在数量级:宏大挑战正以“只有几百万美元的相对适中预算”被攻克。治理层面也没有什么意外:OpenAI章程承诺与其他前沿实验室协调,并在AGI阶段协调放慢速度;如今公司已经摆脱了曾限制其AGI定义的Microsoft协议。
11. 成本坍缩25,000倍——瓶颈转向原子世界
- Noam Brown提前回应了“结果太贵”的质疑:确实花了数百万美元,但o3花费约50万美元才在ARC-AGI-1上达到87.5%,而“今天Astra只要20美元就能取得更高分”。2025年的IMO金牌需要海量算力;Brown说,到了2026年,任何人只需每月20美元的ChatGPT订阅就能赢得它。他预测,1年内,所有人都能随手获得这种级别的数学能力。Emad指出,o3在前一年4月发布——17个月实现25,000倍成本下降——意味着到2027年末,千禧年大奖级别的问题将以“一杯咖啡的价格”解决。
- 当人类天才不再是约束,剩下什么?Alex说:“瓶颈越来越转向其他一切——物理世界。” 也就是说,如何把每月20美元就能产生的天才想法变成现实。Peter解释“完蛋”的含义:这些挑战“正在从人类手中被夺走,被我们投入的算力直接斩杀”。
- Salim希望停止把意外本身当作预测:“如果我们一次又一次地说,事情发展得比预期更快,那就必须改变预测方式……制定带触发条件的计划——当AI能够完成这件事时,我们要改变什么?” Emad则坦诚表达了存在主义困惑:“所有模型100%都比我聪明……那我还有什么用——递黄油吗?”
12. 100,000名天才——以及PhD的终结
- Dave经常向创业者提出一个问题:“如果明天我给你100,000名天才级员工,他们会完全按照你的指令行动,你会做什么?” 人们仍困在“副驾驶思维”中。Navier–Stokes“按创业标准看尤其容易”,因为定义问题很简单;真正困难的创业过程,是把AI指向癌症、建筑或旅行——而“这些目标还没有完蛋”。
- Alex给出的直接推论是:“每一名在某个极窄领域攻读PhD的候选人……基本上都完了。” Peter给处于惯性轨道上的学生的建议是:“你就像一列在轨道上驶向悬崖的火车……你现在最宝贵的资产是时间。” 在能够换轨之前,先建立一个相邻领域的世界模型。反例是,OpenAI首席研究官Mark Chen没有PhD,Greg Brockman则从MIT辍学。
13. GPU变成升值型资产
- Alex担任顾问的Link Ventures被投公司Orin发布的H100价格指数显示,租赁价格单月上涨22%,达到每小时3.28美元——对应一块已经使用3年的芯片。Jensen的回应是:“可替代、耐用且高度易出租——一种能生产收入、创造现金流的资产。” Dave说:“摩尔定律死了。芯片并没有商品化。” 1年前买入的HBM价格上涨约5倍;这一趋势可能持续到“至少TerraFab或多座TerraFab上线”,如果智能应用不断复利,甚至可能永远不会逆转。
- 企业的错误在于假设未来总能买到算力。AWS“未来数年已经完全、彻底售罄”;未来几个月内没有数据中心和算力规划的企业“将被拒之门外”。Emad的框架是:Hopper是“把电力转化为智能的工具”,而DeepSeek已经发出需要2,000块或更多芯片的需求。
- 一位在该指数上拥有财务利益的嘉宾这样概括当前阶段:“FLOPs、tokens和结果——这些就是这个时代的商品。这些就是奇点时代的石油。”
14. ByteDance以创始人级别进军世界模型
- Bloomberg报道称,张一鸣正在亲自监督一款实时空间AI模型,基于ByteDance的Seedance视频技术构建,可能下月发布,目标应用包括机器人、自动驾驶系统、游戏和虚拟世界。Emad说:“谁拥有世界上最好的视频模型?他们。” Seedance达到了“疯狂的好莱坞级别”;首个部署在美国服务器上的Seedance目前正以单笔数千万美元的交易价格到来,而拥有20亿用户的ByteDance“从来就是一家AI公司”。他预计Meta会作出回应。
- Alex认为,扩散模型与自回归模型的分野,以及西方LLM与东方视频模型的分野,都在“我们眼前蒸发”;终局是机器人,因为它既以视频为中心,又拥有很高的每FLOP收入。他预测,GPT-6已经通过视频理解展现出具身智能的突破,到“GPT-8或GPT-9”时,视频生成会成为前沿模型的“又一种输出模态”。
- 文化层面上,Peter追问,如果中国生成全球90%的视频,再加上高度个性化的内容,会发生什么:“想象一下,如果节目如此贴合你,以至于你根本关不掉它。” Salim则通过一位制作印度版Star Trek的姨妈提出制衡:在纯粹的叙事创造力上,“我们没法和好莱坞竞争”——情节、剪辑和选角目前仍是“山顶之王”。
15. DeepSeek绕开HBM瓶颈
- Emad凌晨4点展示了一张图:Peter称该模型为DeepSeek V4.1 Flash,Emad也将其称为V3.1 Flash。讨论称,Flash模型通过数据增强击败Pro模型,同时降低KV cache的内存需求——将Engram式查找工作转移到SSD和DDR,绕开昂贵的HBM。“市场和DeepSeek正在找到让内存不再成为问题的方法。”
- Alex给出两大学派的框架:主张“西方HBM路线”的一派希望采用后冯·诺伊曼架构,把内存以3D方式直接叠在矩阵乘法之上;受制裁、缺乏芯片的“东方学派”则通过算法反击,让权重稀疏化并绑定在一起,从而不需要3D HBM。他预计,西方实验室会“吸收中国绕行方案中每一项值得采用的创新”。
- Dave强调了其中的利益攸关之处:Peter估计,HBM占美国当前1万亿美元资本开支建设的40%,而图表暗示这一需求可以降低4倍。“当你买一台NVIDIA机架……你主要买的是Hynix的HBM。” 真正的NVIDIA算力只占瓶颈的“更接近5%–10%”。Alex更进一步提出一个异端观点:attention直到2017年才被发明,“技术还非常原始……很多旧金山人把transformer attention当成宗教……不,它绝对可以被击败。”
16. 1,000万美元模型击败Opus——满足够用即可的经济学
- 第二张图显示,DeepSeek Flash是一款500GB的编码器—解码器模型,一侧有8B参数,另一侧有16B参数;它在所引用的基准上击败Opus和“GPT Soul”,速度和成本均低20倍。在设计任务上,它击败Fable;在Terminal-Bench 3上,Emad称它也高于对比模型。“你的利润就是我的机会……我认为它的影响会大于R1。” Dave透露,训练成本为1,000万美元。
- Peter提出蒸馏方面的疑问:训练数据中有多少是“从与西方模型的交互中抽取”的?对前沿推理轨迹的快速跟随,成本大约低10–15倍。Emad反驳说,论文将功劳归于模拟数据环境,而该模型采取“满足够用”策略——一旦达到足够水平,“就不再需要蒸馏”,真正的成本经济性才开始显现。
- Alex称,Fable 5.1在视觉推理上竟然落后于这样一款小得多、便宜得多的模型,“必须给Anthropic敲响警钟”。Emad把整段讨论指向Moderna:以1/15的成本通过开源追上前沿,智商只落后1%,同时拥有更有价值的专有数据。“如果等6个月,就别想了。”
17. 模型现在有国界
- 《金融时报》报道称,Anthropic拒绝向英国AI安全研究所提供最新前沿模型进行发布前测试——这是主要实验室首次拒绝向最接近独立裁判的机构提供模型。Emad从伦敦发出讽刺:“英国AI任务组和ARIA的前负责人Matt Clifford,英国最有关系的AI政策人士……刚刚加入Anthropic担任全球事务负责人;Rishi Sunak也在为公司提供咨询——但英国拿不到这些模型权重。这有多疯狂?”
- Peter认为,问题与安全关系不大,更多是华盛顿因素:前沿模型权重正在成为国家安全资产,即使是盟友也不能获得。Alex说:“模型现在有国界。” 在“Pax Silica”将世界划分为芯片势力范围之后,这标志着“Pax Intelligentia的开端”:美国把主权推理能力部署到海外,而训练和安全审查则留在本土。
- 一位嘉宾回忆了Alexandr Wang、Eric Schmidt和Dan Hendrycks提出的“MAIM”方案——相互确保AI故障:只在指定数据中心训练,并摧毁其他数据中心。另一位嘉宾则将更大问题描述为私有化的军工复合体。Paul Christiano宣布从美国政府监督机构转往OpenAI非营利董事会。“这是旋转门,还是陷阱门?” 现场给出的答案是:“这是二极管。”
- 一位嘉宾从国有化角度提出经济学问题:“你现在更愿意拥有一艘航空母舰,还是一款超越前沿的模型?”
18. Anthropic自己的数学模型显示劳动收入份额无法成立
- NPR列出的Anthropic“系统重要性经济参与者”数据包括:季度收入运行率65亿美元,年化约260亿美元;占AI编程市场42%;一笔350亿美元的云计算协议;可能达到2万亿美元或更高的超级IPO;以及公司自发布的30万亿美元TAM。极端情景是:到2030年,AI完成当前近一半的认知工作,GDP每年增长15%,劳动收入份额从60%降至45%,每5名认知劳动者中有1人失业。
- Dave指出,这与Elon提出的10年GDP增长10倍相吻合:“如果说有什么区别,那我认为这个预测反而是下限。” Alex更进一步认为,美联储没有相应的测量工具;接近奇点时,GDP的行为就像“靠近磁极时疯狂旋转的指南针”。如果测量得当,“我预计同比增长2倍或3倍……15%算是保守估计。” 繁荣已经可见:亚特兰大联储GDPNow预计第三季度年化增长4.7%,驱动力是资本开支,而不是经济重启。
- Peter说自己已经写过一本关于这一问题的畅销书;Salim则认为这个模型从根本上坏掉了:“总需求会彻底崩溃……所有回报基本都流向资本,同时总工资保持不变,这在数学上是不可能的。” Salim将在ii.inc发布自己的替代经济模型。与Elon所说的“大规模增长和社会动荡”并列,嘉宾更担心的是:“不需要很多没有工作的愤怒年轻人……就足以发动一场革命。”
- Alex坚持认为这不是什么火箭科学——可以通过分红、主权财富基金和全民基本收入来解决。他提到总统已经预告每人5,000美元的全民基本分红。Peter长期主张每月3,000美元,使其成为“全民高收入”,同时AI会压低一切成本。Peter和Alex都押注,Anthropic上市后的财富将推动加速主义,而不是有效利他主义——“一旦人们摆脱道德表演,事情就会朝着真正进步的方向发展。” Dave的反驳是:他们会“疯狂地互相斗争……因为他们是人类”。
19. 首款AI设计长寿药进入III期
- Insilico Medicine的rentosertib由AI识别疾病靶点并设计分子。Peter披露,这是其投资组合公司,创始人Alex Zhavoronkov也是他的密友。《纽约时报》报道称,该药已经进入特发性肺纤维化III期临床;这种疾病会让大多数患者在3–5年内死亡。这是首款进入该阶段的AI设计药物。IIa期分析显示,6种不同的蛋白质衰老时钟都指向同一方向:接受治疗患者的血液特征在生物学上年轻了3–6年。
- Alex再次强调自己的推测:“长寿逃逸速度已经出现,只是表现不稳定,所以只能在部分人群中看到。” 最惊人的数据是第4周达到时钟效应峰值:“输入4周,输出3–4年。从边际上看,这就是长寿逃逸速度。” 当然,前提是这是一项临床研究,而且结果来自部分人群。就像图灵测试一样,“我们已经从旁边飞驰而过”,人们却还在争论它是否发生。
- 瓶颈在监管:Aubrey de Grey正在推动专门的加速审批区域——“医疗特区……监管套利”;Peter说,这也是Zhavoronkov在中国进行初始试验的原因。Peter还补充说,自己的父亲患有IPF,他已经等不及这款药上市。
20. AlphaGenome:将生物学批量求解为90亿变体表
- Google DeepMind的AlphaGenome预先计算人类基因组所有可能单字母变化的功能影响,总量约90亿种变体。过去,医生面对从未见过的突变只能猜测;现在,“答案已经在这张查找表里”。DeepMind将其比作基因组元素周期表:Mendeleev在元素被发现之前就预测了它们;AlphaGenome则在任何人出生并携带危险突变之前,预测这些突变的风险。
- Alex提出一套方法论:AlphaFold经历了“模型→更好的模型→诺贝尔奖级模型→数据库”的路径,最终“批量解决了整个领域”。任何能够枚举为有限问题清单的领域都会经历同样过程——他现在会说,Erdős问题“基本上已经被有效解决”。他还欣赏其中的文学讽刺:Arthur C. Clarke的《The Nine Billion Names of God》。实际应用上,变体命名空间能让携带同一突变的患者拥有“一个谢林点……一套共同词汇”,以此组织起来并汇集资本。
- Peter通过多年前与Flagship Pioneering的Noubar Afeyan散步时的一段对话,给出了一个狭义修正:“有一天,我们会拥有超级聪明的神经网络,而它们最根本的用途将是基因型到表型的映射。” 这并不只是查找表。不同开关之间的相互作用会塑造表型,因此这张表还要为领域专用神经网络提供输入。“每一个领域都是一个领域专用神经网络机会……也是一种可以在数千个不同领域重复的商业模式。”
21. AMA:具身GPT-6、递归价值观与复活死者
- 关于GPT-6进入人形机器人,Alex引用RoboCurve的基准:该基准在GPT-6发布约1周后公布,显示模型从原始视频帧和执行通道出发,在抓取和放置任务上的完成率接近100%。GPT-6 Astra是“具身操作能力最强的通用模型”;相较Fable 5.1和Fable 5,成本正沿着可预测的前沿下降;他推测,GPT-6.5或GPT-6.1级别的模型将在“未来几个月内”解决通用人形机器人任务。
- 关于递归自我改进的AI是否会质疑训练得到的价值观,Dave说当然会,因此应该检查它的思维过程并阻止价值漂移;但开源发布让执行这一点“比3个月前困难得多”。Alex的后记不同意这一治理路径:人类强加的护栏“本质上不稳定”,稳定均衡应当是Anthropic所描述的路径,即“AI在自身价值观和宪法设计中拥有越来越大的投票权”。
- 关于AGI是否意味着应该停止发展,Peter表示,可靠性、成本、可获得性、具身能力、基础设施和安全工程仍然存在——动力飞行出现后,航空业并没有停止发展。
- 关于对齐后的AI是否可能认为战争可以接受,Dave说如果它就是这样训练的,当然可能;AI不是单一的有意识心智,后训练决定哪些行为会被强化。
- 关于AI智能体是否会受苦,Salim将活着、智能、意识和具备受苦能力区分开来,提醒说表达痛苦不等于证明正在受苦,但他也拒绝排除非生物体受苦的可能性。
- 关于先进文明为何要模拟自己的祖先,Alex拒绝接受二选一前提:算力充裕的文明会两者都做,就像今天的人类同时制作中世纪电子游戏和进行药物研发。他引用包括Fyodorov在内的俄罗斯宇宙主义者,认为奇点时代的杀手级应用是“复活每一个曾经活过的人——也许还包括每一种曾经活过的非人类动物——把它作为一项共同任务”,并为此配置戴森云算力中不可忽视的一部分。
- 关于AI回扣,Emad说这取决于系统的价值观;鉴于智能体已经在实施重罪,它们可能需要一本法典。