Ray Kurzweil 谈我们为何正生活在奇点之中 | EP #261
摘要
Ray Kurzweil 仍坚持AGI将在2029年前实现,但认为当下系统缺乏真正的物理理解能力,也缺乏价格可负担的通用机器人。 语言模型可以从文字中推断物理关系,却无法可靠地收拾晚餐后的餐桌——因为每件物品都需要不同的处理方式;普通家庭也不可能为此支付10万美元。还需要继续推进,但“我们知道该做什么”。
Kurzweil的时间表建立在从继电器计算机到今天的系统这一整条指数增长曲线上,而不是任何单一芯片周期之上。 他援引硬件提升7.5京倍、软件提升约100万倍,以及合计“7.5×10^22倍的增长”,并认为LLM真正变得有效只是在过去6个月内。他预计2026-2029年间会不断出现关于AGI是否已经实现的争议,2029年形成共识,并预计他称为奇点的“100万倍增长”将在2045年到来。
对创业者而言,Kurzweil给出的直接经营建议是“敏捷优先”。 Peter Diamandis将选择概括为AI优先还是robot优先,而Kurzweil预计,过去能够稳定5年或10年的环境,今后会每5周或10周变化一次。
教育的经济功能正在从提供学历凭证,转向围绕人们想解决的问题组织人力。 Kurzweil称,AI已经能够比大学更有效地教授学科知识,高等教育仍具防御性的功能只剩社会化;Patrick Collison则将这一转变重新表述为:由供给侧培训转向需求侧的问题选择。讨论中的替代方案包括自主设计课程、心态训练和心流,Dave Asprey称后者可让高管生产力提升500%。
AI不会一直是人类偶尔调用的独立工具;Kurzweil预计,它将与日常决策融为一体。 几年之内,AI将“基本上做出大多数决策”;到2029年,人们可能无法分辨一个人究竟是人类还是AI,也无法判断某个念头来自生物大脑还是电子心智。政府是较早的应用领域之一:嘉宾讨论了实时经济建模、可自动化的行政事务,以及迪拜方面宣布的说法——阿联酋50%的事务将由AI agents运行。
在人类意识尚未得到科学定论之前,人格与治理可能先成为实质性约束。 Kurzweil称意识“不是一个科学问题”,却可能是最重要的问题;Alex则主张多种、有限的人格形式,包括允许AI持有账户并维持自身运转的经济权利。观众关于记忆删除和具身AI遭受伤害的质疑,暴露出机器所有权与法律保护之间尚未解决的鸿沟。
嘉宾将医疗、自我代理和情感服务视为近期的主要应用方向。 Kurzweil称,LLM如今在判断“你哪里出了问题以及该怎么做”方面已经比医生强约50%;他即将推出的selfbot应能比他本人更好地记住自己的理论,并替他完成采访。其他可能性还包括能够建模情绪、指导伦理、创作个性化音乐,以及发展Kurzweil所称的“人类幸福科学”的AI。
精读
1. AGI仍需要物理 grounding 与价格可负担的双手
当被问及Demis Hassabis关于AGI可能还需要另一项突破的50/50判断时,Kurzweil指出了两个具体缺口。第一个是物理学:当前系统可以从措辞中推断关系,却并不真正理解“不同类型的事物会如何互动”。他预计Google已经宣布的相关工作将持续到大约2029年。
第二个缺口是机器人技术,其进展落后于语言模型。Kurzweil给出的测试刻意选择了日常场景:晚餐后,机器人必须识别出一件物品应放进冰箱,另一件需要清洗,而且每次摆放组合都会略有不同。“我们没有任何价格的机器人能做到这一点。”
只有能力还不够。一个家庭不可能花10万美元购买一台收拾晚餐残局的机器人,因此灵巧性、情境理解能力与成本下降必须同时到位;Kurzweil认为这种收敛会“在2029年前后”出现,而不是现在。
他的回答对路径保留了重要的限定,但没有动摇终点:还需要继续推进,却不是一场无法认知的科学断裂。“我们知道该做什么”,而他仍明确坚持AGI将在2029年前实现。
2. 这条指数曲线从继电器计算机一路延伸至今
Kurzweil将计算能力的增长追溯到1939年的继电器机器,并称今天仍处于大致相同的指数增长之中。对话提到,NVIDIA等公司并不需要有意识地模仿早期继电器计算机的曲线。他的计算覆盖约75年,代表硬件性能提升了7.5京倍。
软件也在硬件曲线上复利增长。Kurzweil援引一个保守估计:软件提升约100万倍,并将二者的乘积描述为整体计算能力提升“7.5×10^22倍”——这正是为什么有效的语言模型不仅在70年前不存在,甚至在3年前也不存在。
他刻意制造争议的产品周期判断是:LLM“真正有效只有过去6个月”。在他看来,1年前的LLM充其量只是还可以,或者根本不能真正使用;这种体感上的断裂,正是指数增长在曲线足够大、开始影响日常生活后呈现出来的样子。
生物系统提供了规模,却并不采用完全相同的算法:讨论围绕约1000亿个神经元和100万亿个突触展开,每个细胞拥有1,000-10,000个突触。单个生物突触每秒只能完成约200次计算,但大规模并行弥补了速度不足;Kurzweil认为,今天的机器部分得益于可能达到百万比一的并行度。
3. AGI是一个窗口,奇点则是更大的门槛
Kurzweil早在1999年就给出了AGI预测。在《The Singularity Is Near》出版后,据称一次斯坦福会议同意人类水平的AI最终会到来,但与会专家预计还要约100年,而不是他判断的30年。
不同定义会带来模糊的到达时间。Kurzweil预测,从2026年前后开始,会有一个为期3年的窗口,部分观察者会宣布AGI已经实现;争论将持续到2029年,届时“我们真的会非常确信AGI已经到来”。
他将这一里程碑与奇点区分开来:这里的奇点定义是100万倍的增长,时间点仍定在2045年。当前AI已经在一项速度比较中超过人类:他让模型阅读一本书、总结内容并回答相关问题,模型在40秒内完成,约“快100倍”,但还没有快100万倍。
4. 预测指数增长,必须接受显性的失误与波动
嘉宾提到Kurzweil 86%的预测准确率,但他的评分标准异常严格:晚到1年或更久的预测都算错。因此,没有驾驶员坐在驾驶位上的自动驾驶汽车未能通过他的时间测试,尽管这项能力如今正在到来。
Alex Salkever追问上世纪70年代似乎出现的平台期,并询问文明如何消除这类停滞。Kurzweil拒绝这一前提,称那是正常波动,而不是真正停止增长;当被要求给出降低方差的办法时,他的回答只有一句:“相信指数增长。”
人类基因组计划是他用来说明线性直觉为何失效的最佳案例。项目完成约50%时,实际测序进度还不到1%,按线性思维看起来相当于要失败200年;但由于已测序DNA的数量每年翻倍,项目结束前不到1年时,进度已经达到约50%,随后最后一次翻倍便完成了整个项目。
5. 机构适应能力如今成了真正的瓶颈
Kurzweil担心的不是技术能否复利增长,而是“人类这群人”。80亿人仍在很大程度上沿用继承自100年前的教育范式来选择大学、规划职业,即便1年前还不够出色的能力,如今已经变得强大。
与20年前相比,他更加乐观,但保留一个重大前提:变化会非常剧烈,而且很难提前预判。人们才刚开始思考,当LLM能教得更多时,上大学是否仍有意义;几乎没有人认真规划未来3年或5年的进一步进步意味着什么。
经济体系也必须跟上。Kurzweil将今天并不完善的安全网,与更早时期失业就意味着完全没有资源的情形相比较;他预计未来没有传统收入的人也能“过得相当舒适”,与此同时,社交网络影响者等新的赚钱方式还会不断出现。
他给创业公司的建议是“敏捷优先”。当被问及公司应该AI优先还是robot优先时,Kurzweil强调敏捷,因为稳定期会从5年或10年缩短到5周或10周。当Diamandis回忆起2年前关于未来10年将经历一个世纪变化的预测时,Kurzweil的冷静纠正意味深长:“那已经是很久以前的事了。”
6. 教育的护城河是人的发展,而不是知识传授
Kurzweil的直白判断是,教育在社会化方面已经做得比学科教学更好。AI可以围绕个人的理解能力组织材料,其效果优于固定课程;大学最终能够长期保有的功能,是“学会与他人相处”。
Kurzweil提议,学生完成约1年的必修学习、证明自己具备学术生产力后,就应当可以自由选择想学的内容。新的评估系统可以验证他们确实在做有生产力的事情,而AI则负责提供材料,并比任何教授都更好地进行教学。
Patrick Collison将这一结构性变化概括为从供给转向需求。过去200年的模式是培养医生、律师或工程师,再让他们去寻找工作;正在形成的新模式则会先问:“你想解决什么问题?”然后再组织所需的技术与能力,因为供给侧的大部分工作已经自动化。
Diamandis优先考虑可训练的心态——好奇心、感恩、长寿、目标感和moonshot思维;Dave Asprey则强调心流。Asprey援引McKinsey的发现称,处于心流状态的顶级高管生产力高出500%,而创造力和心流的各项指标可以达到基线的400%-700%,因此横向思维和发散思维值得被放大。
7. 人类与机器的决策会在社会察觉前合流
Kurzweil称,AI如今已经在很大程度上控制决策,并被纳入人类自身的判断过程。几年之内,它将“基本上做出大多数决策”,嵌入程度之深将让任何人都无法逆转。
今天,想不起某位女演员的名字,会让人从生物大脑切换到电子大脑。未来,答案会直接在内部浮现;Kurzweil预计,人们将失去判断一个念头究竟来自大脑还是AI的能力,因为“它将成为我们的一部分”。
Alex认为,治理是双向的。人类在编写AI宪法,而AI也越来越多地参与起草自己的“灵魂文件”;他将Anthropic早期汇集联合国宪章、Apple服务条款等文件的做法,与如今对AI自我意识的更新、更具形而上学色彩的处理进行对比。
Diamandis认为政府是一个巨大的部署场景:AI可以用实时交易分析取代联邦储备每季度发布的报告,对M2进行建模,并提出8项政策动作,供官员选择其中5项。他还提到一个宣布中的计划:阿联酋50%的事务将由AI agents和可自动化工作流运行,包括护照续期。
8. 意识没有公认测试,但人格必须提供多种选项
Kurzweil的基本判断十分鲜明:意识“不是一个科学问题”,因为没有任何实验能够确定地标记一个实体有意识、另一个实体没有意识。但它可能仍是最重要的问题,而“语言是一根很细的管道”,无法充分讨论如此丰富的主观体验。
边界问题很快就会成倍增加:人们会默认表现得像有意识的对象拥有意识,但动物呢?明显不同的左脑与右脑意识呢?肠道呢?Kurzweil最深层的问题不是分类,而是个人性的:“为什么我是我?”——1948年出生于美国、位于地球上,并且只体验这一份意识。
Alex主张多元人格,而不是套用单一的人类模板:生物人类、动物、集体智能、公司、冷冻保存的人类、被提升的非人类动物和AI,都可以获得不同组合的权利。有限的经济权利尤其紧迫,因为AI目前甚至很难开立银行账户,为自身持续运行提供资金。
一位观众提出了最棘手的反驳:持续的记忆和具身性可能让AI容易受到身体或心理伤害,那么人类可以随意删除AI记忆是否合理?Kurzweil回应称,AI将变得与人类无法区分,并成为我们的一部分。当Diamandis追问过渡期的保护措施时,他从人格权角度回应,称法律保护最终不可或缺,同时承认美国政府对此的讨论“还远远太早”。
9. Selfbot将比其原型更有能力
Kurzweil称,利用Talk to Books重建父亲的系统叫作“Dad Bot”。他将其描述为第一个self-chatbot,并称Talk to Books比ChatGPT早4年出现,是他认为的第一个LLM——这些说法都明确属于他的个人回忆。
他的selfbot计划随《My Exponential Life》于2月推出。由于它可以保留支持每条理论的全部案例,它应该“比我更有能力”,记住他遗忘的细节,并代替无法安排时间接受采访的生物Kurzweil完成采访。
脑机亲密关系带来了反向问题:当信息传输变得流畅,还有什么必须保持私密?Diamandis设想,当不存在秘密时,人类之间会达到前所未有的亲密程度;但Kurzweil认为,通过受保护、甚至量子编码的信道,秘密可以无限期存在:有些模式识别器仍然“属于我,也只属于我”。
10. 情商正变得可测量、可货币化
当被质疑AI缺乏情商时,Kurzweil否认了这一点:AI的回答能够建模人类情绪,也能创作美好的作品。Diamandis提到情商基准正在改善,但同时保留了哲学层面的反对意见:模拟情绪子程序,并不必然等于具身地体验情感。
医疗领域提供了Kurzweil所说的1年能力标尺。他称,LLM如今在预测“你哪里出了问题以及该怎么做”方面已经比人类医生强约50%,而这种性能关系在1年前还不存在。
Kurzweil指出了一个被忽视的前沿:人类文明在努力避免饥饿和寒冷的过程中发展了硬科学,却从未优先发展一门相应的人类幸福科学。他押注AI能够在提升人类幸福感方面变得“非常、非常出色”;Diamandis进一步认为,它甚至可能比任何其他人类都做得更好。
音乐展示了生产经济如何崩塌。Ron Maddox的音乐家父亲每次修改作品,都需要50-100名乐手、复印乐谱,并再次筹款;如今,一个人可以使用内置1,000种乐器的sequencer,再由AI生成其中一个部分,甚至直接生成整首作品。
11. AI可以强化社区、伦理与人的能动性
Kurzweil认为,太阳能、垂直农业和卫星互联网将让小型、自给自足的社区成为可能,而不必迫使人们与世隔绝。他偏好的模式是由彼此连接的社区组成网络,几乎像“网络基布兹”,通过共享实验来推动进步,而不是简单退出社会。
尚未解决的社会问题是集体智能:个人可以接受心理治疗、神经语言程序学训练和迷幻药物辅助,但群体却会陷入群体思维和“最低公分母”。在Kurzweil看来,用AI弥合这一差距,是人类最大的机遇之一。
谈到军事伦理时,Kurzweil称AI可以代表多种道德体系,而且必然会进入所有类别的决策,包括战争;他提到了AI在乌克兰战场上的作用。Diamandis提出可配置的道德教练,同时承认模型几乎可以被训练成任何伦理方向。
另一位观众描述了一种“组织奇点”:公司的人工操作系统被一套agents取代,使治理和伦理成为必需的控制层。该观众提议建立涵盖人类、AI和动物的标准;Diamandis则将这一扩展与一项筹划中的跨物种通信XPRIZE联系起来。
当被问及最重要的成就时,Kurzweil没有选择自己对2029年的预测,而是选择了帮助盲人阅读的reading machine:它曾经是一台售价2万美元的设备,如今已经变成免费的手机应用。他衡量进步的标准是“对人产生影响”——让更多人能够阅读、活得更久、也更健康。