前沿模型扩模与超级智能
探讨前沿模型扩展上限、自我演进瓶颈与国家级军备赛
2个信源参与该主题的先锋
全部段落
10月27日
10月25日
10月21日
10月20日
10月17日
10月16日
10月15日
- Dwarkesh Patel Patel 将当下令人印象深刻的 LLM 与 AGI 区分开来，但仍认为具备人类水平的认知工作能力已近在咫尺。 他将 AGI 定义为能够完成任何端到端认知工作的系统，而当前模型每次出现时都像“上班第一天”的实习生，缺乏记忆、规划能力和积累的经验。他认为，这些差距可能在1至3年内收窄。
- Tyler Cowen 持续学习是这套预测中承重的技术假设。 数百万次 AI 会话已经接入企业工作流，但其中积累的经验并不会沉淀回模型。Cowen 想象，等同于1亿个某人的副本在所有行业同时学习，相当于“在单独1年里活过80年”。Cowen 称，如果2035年到来时世界没有发生根本变化，那很可能是因为行业始终没能攻克在线学习问题。
10月14日
10月12日
- The a16z Show 一家RSI初创公司的创始人——Dhaval Adjodah曾在MIT Media Lab攻读强化学习博士，Owen He曾是DeepMind研究科学家——称，他们已观察到递归式自我改进的初步实证迹象：资源投入这一分母保持不变或下降，性能却在提升。 被问到这是否正在发生时，Owen说：“我不只是觉得这有可能，我觉得它正在发生”；他们称，过去几个月成果不断增加，但在确认结果无误前暂不发布。
- 他们用一个定义标准来区分RSI和“AI创造AI”：要问谁是优化器、谁是被优化对象。 人类借助越来越好的AI工具属于“自催化”——创意和改进仍来自人脑。他们认为，RSI则是让语言模型本身成为被优化对象，形成闭环；按他们的框架，边际增益可以保持不变，甚至不断扩大。
- Martin Casado Casado从性能与成本之比出发，讨论能力提升，但仅有闭环并不能证明系统会起飞。 如果分子固定，系统就会进入平台期；如果分子随能力增长，改进可以保持恒定；如果分子按更高次幂增长，模型则会推导出指数级起飞。一位创始人称，相关指数必须靠实证测量；他们还没有深度学习的学习理论。
- 评估RSI主张时，分母至关重要。 Casado指出，模型发布周期正在缩短，但若以融资额为参照，趋势就不一样了。创始人通过一块名为“bleederboard”的看板追踪实验成本，包括人力投入。他们以nanoGPT为例：GPT-2过去需要多块GPU训练数周，如今用相同数据、在同一块GPU上，只需数小时、花费约100美 …
- Owen He 他们称，许多已发表的RSI思路在自己的测试中无法扩展，实际边界也仍不清楚。 他们的框架把人类研究人员也纳入智能体，目标是适用于不同问题领域，但进展会受到物理过程和最慢环节的限制。他们对比了评估速度快的编程、数学任务，以及受湿实验和临床试验制约的药物发现。Owen推测，宇宙的计算能力决定了最终上限；他表示，自己还没见过针对特定任务、求解所需能量的边界。
10月9日
10月8日
10月7日
- Alexander Wissner-Gross 前沿实验室正在把智能资源投入到制造更多智能上，进一步拉大其内部系统与企业可购买能力之间的鸿沟。 据称 OpenAI 的 Boris Power 表示，公司80%-90%的研究目标都指向 GPT-7 和 GPT-8，而5.1和5.2被视为短期押注；Alexander Wissner-Gross 则认为，如今每个 token 所对应的最高折现收入，来自递归式自我改进。对传统企业 …
- Moonshots 华盛顿正把超级智能当作一场地缘政治动员，但参与者对集中化机构能否驾驭这项技术存在分歧。 Alex 认为，新成立的 Super Intelligence Force 让局势从“1939年”转向“1942年”，意味着一场曼哈顿计划式竞赛；Salim 则称其为“用20世纪经典特别工作组，应对分布式的21世纪技术”。有人提议设立美中事故热线，但被斥为“弱爆了”；不过其范围如 …
10月5日
10月3日
- Richard Socher Recursive的6.7亿美元押注建立在一个判断上：弱递归自我改进已经存在，因为“AI就是代码，而AI能够编写代码”。 Richard Socher表示，强版本要求AI同时掌握构想、实施和验证，并通过一个开放式外循环重组不同想法；人类负责设定目标、环境和奖励。目前还没有系统能控制所有改进维度，但“我们已经非常接近”，眼下的约束不是概念上能否实现，而是算力。
- Alexander Wissner-Gross Socher对ASI最严格的定义，距离那些通常被包装成超级智能的编程和数学里程碑还要远得多。 他预计AI将在几年内超过人类在特定领域的能力，但要在10种智能形式上超过“全人类之和”，“可能”还需要几十年。Alexander Wissner-Gross和Peter Diamandis强烈反对这一时间表，认为把有能力的模型接入机器，比Socher设想的要容易。
