【特别综艺-下】硅谷AI研究员｜模型猜猜乐和Prompt大战

摘要

• 一场盲测暴露了模型输出的高度同质化：连 OpenAI 研究员也屡屡认不出自家在内的各大模型。 六位嘉宾靠括号、破折号、换行、bullet point 这些“语癖”猜模型，Gemini 3.5 Flash、Claude 4.6 Sonnet、DeepSeek 轮番被认错；主持人 Bessie 的意外发现是：“大家其实很难 reach consensus 哪一个是自家的模型……很多模型就特别特别相像。”这为关注模型差异化的投资者提供了关于模型输出趋同的直接观察。
• “新模型发布前旧模型被偷偷变笨”的说法，得到了一项带保留的内部判断。 王森说：“根据我个人的了解，应该不是这样”；更深的解释是人的预期本身不稳定——“即便它给你一个答案，你昨天和今天可能也不一定一样的满意”。团队确实会从 social media 和 user feedback 中寻找线索，证实坏行为后通过迭代 algorithm 尝试消除，建议用户点 thumb down。
• Voice agent 已经实打实落地，AGI 替代生活还早。 刚加入 voice agent 创业公司的周奕超说：现在打电话给 Chase 关信用卡，“很大概率已经是 agent 接的，而且很可能已经能很好地完成你的任务”；但要 AI 替代生活中大多数事情“还是比较远的”，“可能还得看 robotics 的出现”。
• 中美前沿研究“同大于异”。 “前沿模型公司也就中国和美国做得比较好”，在 scaling law 怎么做、怎么做 RL 上“大家的共识很一致”；真正的差异可能是资源（“资源更少……人做得更细一些”）和沟通环境，中国团队更多是华人、交流更集中，美国背景更多元、需要更多 alignment。
• 嘉宾自己的 AI 工作流：sub-agent、文档、勤开新对话。 不会的问题先让模型列 plan、改完再“spin up multiple sub-agents to carry out”；长对话 compaction 后模型“突然会坠入太虚幻境”，所以要写文档做记录；与其在一个对话框聊到爆 context，不如开新对话，“更快，甚至是更准确”。
• 公司上市后股票卖不卖，内部观点公开分裂。 一派认为“按现在的估值……都可以长期持有”，另一派直言“肯定卖啊……在非上市公司等了这么久……不能所有都 all in 一个地方”，卖一部分买其他家；FIRE 数字从 200 万美元（回成都或妻子老家、前提是不与人比较）到 1000 万不等。
• Prompt 大战的策略：可验证任务加尽可能多的工具调用。 让 ChatGPT 5.5 Thinking High 思考尽可能久的 prompt 是“搜索 NeurIPS 成立以来每年引用量最高的九十篇论文并总结成 doc”——思考 6 分 24 秒；对手的“查询至少一百个网页”只有 1 分 23 秒。核心策略是给明确可验证的目标，避免模型偷懒、输出似是而非的结果或反问用户。

精读

1. 模型猜猜乐：连 OpenAI 研究员也认不出自家模型

• 阵容与规则：六位嘉宾——程明昊（后训练团队做 eval）、余天呈（后训练）、董萌（GPU scheduling）、王森（memory 研究）、吴月忻 Crick（reasoning、test-time scaling），以及刚加入 voice agent 创业公司 Coficia、做 ASR 的周奕超——分两组，看 prompt 和答案盲猜出自哪家模型，猜错受罚。
• 嘉宾主要依据表面语癖：有人判断 Gemini Flash 较短、带 highlight；GPT 被认为喜欢用 bullet point、括号多、换行多且非常 structured；Claude 被认为很喜欢用括号。另有嘉宾形容某个 Gemini 答案“没有什么内容，但是又显得很多”。出场选手包括 Claude 4.6 Sonnet 和 Gemini 3.5 Flash，结果照样频频认错。
• 集体感慨：“感觉都存在很严重的问题，比如大量的括号、不必要的括号、破折号、换行。”“我本来以为只有我们有这个问题。”如果风格信号不明显，“确实不是很好猜，因为每个 model 都能答得差不多”。
• Bessie 的 meta 观察最有信息量：她本以为 OpenAI 同事“一眼就能看出来”哪个是 5.5 Instant，“但实际上大家其实很难 reach consensus 哪一个是自家的模型……很多模型就特别特别相像”。

2. 嘉宾的 AI 工作流：sub-agent、写文档、勤开新对话

• 惩罚环节抖出的干货：“天天用 code”——遇到不会的问题先让它列个 plan，改一改，然后“Spin up multiple sub-agents to carry out”。
• 写文档做记录的理由很具体：程明昊说模型有时会在 compaction 后“突然会坠入太虚幻境”，聊太久会懵；他还说模型有时 compaction 失败，王森则自嘲“我的 compaction 从未成功过”。
• 王森提醒：没必要一直在同一个对话框里聊，“每次开一个新的对话框，它基本上还会记着你上一条聊的内容”，这样聊天消息加载得更快；董萌补充说甚至会更准确，因为不会超过 context。董萌还说自己已经“很久没有自己手动 submit 过 job、读过 job 的 log”，全交给 AI。

3. 公众误解与“降智论”辟谣

• 最大误解是以为 AI 能替代非常多工作，程明昊认为“其实现在正处于非常初级的阶段”；公众的判断非正即负，“要么觉得 AI 什么都能做得到，要么觉得什么都做不到，但其实我们今天处于一个非常中间的位置”。
• 王森提到，简单事情做不好时，用户甚至会怀疑“会不会是公司自己偷偷在背后搞破坏”；董萌补充说“模型的智能分布是非常不均匀的”，把简单事做好本身就需要很多工作。
• 对“下一个模型发布之前，上一个就会被变笨”的传闻，王森说：“根据我个人的了解，应该不是这样。”人的标准本身不稳定，“你昨天和今天的想法……可能也不一定一样的满意”。团队会从 social media 和 user feedback 中获得线索；一些不好的行为得到证实后，会通过迭代 algorithm 试图消除，鼓励用户点 thumb down。

4. AI 落地生活：客服电话已经是 agent 在接

• 生活用法各有一手：体重管理和饮食、旅行计划；周奕超还会让 AI 处理航空公司的报销或积分问题，把证据和诉求整理成一封有理有节的正式信函草稿，再发给对方 CEO。
• 周奕超拿自己新东家举例：打电话给 Chase 关信用卡，“很大概率已经是 agent 接的，而且很可能已经能很好地完成你的任务”；coding agent 也“一直在用”，一些简单的事“已经被取代了”。
• 但他的边界画得清楚：AGI 替代生活中大多数事情“还是比较远的”，“可能还得看 robotics 的出现”。

5. 中美 researcher：同大于异

• 有人认为首先可能是资源差异：“有时候资源更少一些，人做得更细一些”，资源多则可以跑更多实验——各有好有坏。
• 更重要的判断是：“前沿模型公司也就中国和美国做得比较好”，在 scaling law 该怎么做、怎么做 RL 上“大家其实在很多地方的共识是很一致的”；中国团队更多是华人，交流更频繁、更集中，美国背景更多元，需要做更多 alignment，“但基本上我觉得还是同大于异”。
• 留了个诚实的开放问题：同样的一组人，换一个地方，结果是不是还一样？“不知道。”

6. 钱的真心话：上市卖不卖、多少钱算 FIRE

• 上市后卖不卖，观点当场分裂：一边说“买卖都是看价格的”，按现在的估值，几家比较大的公司以后上市“都可以长期持有”；另一边毫不客气——“肯定卖啊……大家在非上市公司等了这么久……不能所有都 all in 一个地方”，卖一部分买其他 AI 公司。
• FIRE 数字的锚点五花八门：捐一个 professor 职位“大概六百万还是八百万美元”，让投资收益 cover 这个 professor 的工资；有人报 1000 万；有人说 200 万美元，在成都或妻子老家过不错的生活就够——前提是“不再把财富或收入当做对自己个体价值的认可”，否则“你会永远在和别人比较……一旦跨过一个阶级，你会开始和另外一拨人比较”。
• 最硅谷的答案：“周末的娱乐活动，顶级是上班”——周一到五做不得不做的事，周末“上一些想上的班”，比如做自己的大胆想法。

7. Prompt 大战：可验证任务加搜索更耗思考时间

• 规则：不超过 30 个字的中文 prompt，让 ChatGPT 5.5 Thinking High 思考尽可能久。圆周率算到 (10^{100}) 位这类任务被认为“肯定拒绝”，没有继续采用。
• 获胜组的思路值得记下：“让它尽量做更多的工具调用，比如搜索这种比较耗时的任务……同时给它 verifiable task……给它一个明确的目标来衡量它做的结果，这样它就不会偷懒，也不会给我们一些似是而非的结果，或者反过来问我们。”
• 结果：“搜索 NeurIPS 成立以来每年引用量最高的九十篇论文，并总结成 doc，自行详细思考”思考了 6 分 24 秒；“查询至少一百个网页，给个研究报告：多少钱才能财务自由”只有 1 分 23 秒。前者的耗时明显更长。