返回主题长上下文与外部记忆瓶颈探讨模型上下文窗口限制与长期记忆排序机制瓶颈0个信源参与该主题的先锋Harrison Chase Alex Zhang Eric Bigelow Alexander Wissner-Gross Ed H. Chi（纪怀新） Ed H. Chi全部段落10月19日硅谷坐标 Silicon Valley Vector 模型能力终将普及，AI 的终局是能力与成本之比｜对话 Google DeepMind 研究副总裁 Ed ChiEd H. Chi Memory 是尚未被想清楚的 bottleneck：Transformer 的 context buffer 目前大约可做到 100 万或 200 万 token，在他看来完全不够。 他的核心框架是：memory 不只是存储与提取，也是 ranking 问题（说 Paris 时，想起哪些记忆是排序，而非所有相关内容一齐涌出）；从认知角度看，memory 也是用来 program AGI machinery 的 program。面对主持人提到的 …10月18日硅谷坐标 Silicon Valley Vector 硅谷坐标 x 谷歌DeepMind研究副总裁 Ed H. Chi（纪怀新）：个性化通用助理的未来Ed H. Chi（纪怀新） Memory 是他眼中尚未被充分理解的瓶颈：它不只是存取，也涉及 ranking。 Transformer 的 context buffer 目前约一两百万 tokens，在他看来完全不够；从认知角度，memory 也是一种 program。至于 DRAM、NAND、HDD 的供应短缺，他认为 memory 与 computation 可以互相转换，长期投资规划 …10月17日20VC 20VC：横向与垂直智能体谁胜出，对话LangChain ChaseHarrison Chase 记忆是智能体领域最大尚未解决的问题，LangChain 的亲身经历足以说明这一点。 难点不在数据库（有些公司把记忆存在「单个文件」里），而在于将观察提炼成上下文——这是一项元反思任务，LLM 仍然做得不够好。LangChain 曾推出、后来又砍掉一款商业记忆产品，因为它「试图做得太通用」；记忆必须因领域而异，但他预计「几年后，所有产品都会带有某种记忆能力」。10月15日Moonshots OpenAI 一次性解出722道数学题、Anthropic 的残酷行为政策，以及 Elon 的千万亿美元级 SpaceXAlexander Wissner-Gross Meta 推出 Muse Wonder 后，Gary Tan 和 Salim 认为 Meta 凭借36亿日活用户和“主动记忆”有机会胜出；Alex 则说几乎“没什么”让他印象深刻——论纯能力，Wonder 或许能接近 Sonnet 5.5/Opus 5.5，“但把成本算进去，它其实不在前沿水平之上”，Meta 正在快速重演 OpenAI 的教训：收入来自企业，不是迎合消费者。 Salim 给投资者的判断是：“下一个万亿美元级战场，不是谁的 AI 最聪明，而是谁最了解你”——记忆带来的锁定，将取代社交图谱锁定。10月10日The Cognitive Revolution 代理如何做出决策：Goodfire 的 Eric Bigelow 谈关键 Token、相变与上下文学习Eric Bigelow Bigelow 预计，短期内上下文工程、记忆和 Agent harness 的发展速度会超过面向单个用户的微调。 他对上下文学习的广义定义涵盖所有运行时表征变化，包括对话、故事、推理轨迹和记忆，而不只是 few-shot 示例。除非持续学习彻底重组模型内部的世界模型，否则个性化系统可能仍只是“主模型上的轻微调整”，这意味着基础模型和编排基础设施比数百万个分别训练的模型更有优势。10月2日Latent Space 递归语言模型——Alex Zhang，MIT 博士Alex Zhang Zhang 认为，Claude Code、Codex、Pi 以及当前大多数 harness，本质上都是同一种“把轨迹当作提示词”（trajectory as a prompt）的循环。 RLM 则是反例：把上下文卸载到持久化环境中，让模型通过代码操作这些上下文，并递归调用子代理处理局部可解的部分。在他描述的实验中，短任务上学到的策略可以迁移到长8–30倍的任务，有时还可以跨越表面上不同的领域，因为高层程序保持不变。Sharp Tech （预告）智能体全解：Dots 登场、Google 与 Apple 之问、Muse 后续、超级智能与天命Sharp Tech 真正有效的智能体需要新鲜、任务专属的上下文和持久化的外部记录，而不是一段无限拉长的对话。 Ben 认为，当旧指令被埋在历史记录里时，百万 token 的上下文“很糟”；他偏好的系统会持续把信息记录下来，调取相关材料，并在任务方向改变时开启新线程。相关主题专有小模型与通用大模型 个人AI助理落地与变现 大模型推理成本优化
硅谷坐标 Silicon Valley Vector 模型能力终将普及，AI 的终局是能力与成本之比｜对话 Google DeepMind 研究副总裁 Ed ChiEd H. Chi Memory 是尚未被想清楚的 bottleneck：Transformer 的 context buffer 目前大约可做到 100 万或 200 万 token，在他看来完全不够。 他的核心框架是：memory 不只是存储与提取，也是 ranking 问题（说 Paris 时，想起哪些记忆是排序，而非所有相关内容一齐涌出）；从认知角度看，memory 也是用来 program AGI machinery 的 program。面对主持人提到的 …
硅谷坐标 Silicon Valley Vector 硅谷坐标 x 谷歌DeepMind研究副总裁 Ed H. Chi（纪怀新）：个性化通用助理的未来Ed H. Chi（纪怀新） Memory 是他眼中尚未被充分理解的瓶颈：它不只是存取，也涉及 ranking。 Transformer 的 context buffer 目前约一两百万 tokens，在他看来完全不够；从认知角度，memory 也是一种 program。至于 DRAM、NAND、HDD 的供应短缺，他认为 memory 与 computation 可以互相转换，长期投资规划 …
20VC 20VC：横向与垂直智能体谁胜出，对话LangChain ChaseHarrison Chase 记忆是智能体领域最大尚未解决的问题，LangChain 的亲身经历足以说明这一点。 难点不在数据库（有些公司把记忆存在「单个文件」里），而在于将观察提炼成上下文——这是一项元反思任务，LLM 仍然做得不够好。LangChain 曾推出、后来又砍掉一款商业记忆产品，因为它「试图做得太通用」；记忆必须因领域而异，但他预计「几年后，所有产品都会带有某种记忆能力」。
Moonshots OpenAI 一次性解出722道数学题、Anthropic 的残酷行为政策，以及 Elon 的千万亿美元级 SpaceXAlexander Wissner-Gross Meta 推出 Muse Wonder 后，Gary Tan 和 Salim 认为 Meta 凭借36亿日活用户和“主动记忆”有机会胜出；Alex 则说几乎“没什么”让他印象深刻——论纯能力，Wonder 或许能接近 Sonnet 5.5/Opus 5.5，“但把成本算进去，它其实不在前沿水平之上”，Meta 正在快速重演 OpenAI 的教训：收入来自企业，不是迎合消费者。 Salim 给投资者的判断是：“下一个万亿美元级战场，不是谁的 AI 最聪明，而是谁最了解你”——记忆带来的锁定，将取代社交图谱锁定。
The Cognitive Revolution 代理如何做出决策：Goodfire 的 Eric Bigelow 谈关键 Token、相变与上下文学习Eric Bigelow Bigelow 预计，短期内上下文工程、记忆和 Agent harness 的发展速度会超过面向单个用户的微调。 他对上下文学习的广义定义涵盖所有运行时表征变化，包括对话、故事、推理轨迹和记忆，而不只是 few-shot 示例。除非持续学习彻底重组模型内部的世界模型，否则个性化系统可能仍只是“主模型上的轻微调整”，这意味着基础模型和编排基础设施比数百万个分别训练的模型更有优势。
Latent Space 递归语言模型——Alex Zhang，MIT 博士Alex Zhang Zhang 认为，Claude Code、Codex、Pi 以及当前大多数 harness，本质上都是同一种“把轨迹当作提示词”（trajectory as a prompt）的循环。 RLM 则是反例：把上下文卸载到持久化环境中，让模型通过代码操作这些上下文，并递归调用子代理处理局部可解的部分。在他描述的实验中，短任务上学到的策略可以迁移到长8–30倍的任务，有时还可以跨越表面上不同的领域，因为高层程序保持不变。
Sharp Tech （预告）智能体全解：Dots 登场、Google 与 Apple 之问、Muse 后续、超级智能与天命Sharp Tech 真正有效的智能体需要新鲜、任务专属的上下文和持久化的外部记录，而不是一段无限拉长的对话。 Ben 认为，当旧指令被埋在历史记录里时，百万 token 的上下文“很糟”；他偏好的系统会持续把信息记录下来，调取相关材料，并在任务方向改变时开启新线程。
