AI 下半场：聊透 Benchmark 与 Evaluation | 对谈前 Kimi 产品经理丁丁

摘要

• 丁丁完全认同 AI 已进入“下半场”： 竞争重心正从刷通用 benchmark，转向定义贴近真实业务的问题与 evaluation。 曲凯以模型在榜单上达到“研究生、博士生”水平、落地时却“最多连个实习生的水平都还算不上”为例；丁丁解释，最终体验是基座模型、system prompt、搜索 API、知识库与接口等环节共同作用的结果，而非单项分数。
• 曲凯把 DeepSeek 视为从产品与 DAU 重新关注智能的警钟； 丁丁明确的是，RL 的效果必须建立在优秀基座模型和 pre-train 之上。 模型能力提升后，复杂提示词的重要性会下降，但 prompt 不会消失，只会回归“简单、清晰、明确”，专职“提示词工程师”则可能消失。
• DAU 是资本市场和组织管理容易采用的代理指标，却不能直接代表智能进步。 用户规模能带来独家数据，但快手来的用户与连续 50 轮产出调研报告的输入价值完全不同；关键不在数据越多越好，而在高质量数据与目标模型能力是否 align。
• 曲凯把 Benchmark 比作决定模型把有限“技能点”点向哪里的工具；丁丁认为 benchmark 也是模型公司的核心资产。 好的测试集要真实、有难度梯度和区分度，并随模型迭代不断淘汰、补充；她可能会保留一套算法团队也不知道的隐藏 benchmark，避免模型针对题目作答或被 hack。
• Benchmark 必须与真实用户指标正相关，否则 evaluation 本身就该被重做。 丁丁以 Manus 为例，提出更有意义的指标可能不是传统 DAU，而是“用最少步骤完成、且结果被下载或引用的比率”；auto eval、human eval 与端到端体验也要持续互相校验。
• 生产力产品的 evaluation 相对确定，情感陪伴则暴露了“什么是好”没有统一答案。 用户说“我失恋了”，有人要解决方案，有人要追问和 memory callback，有人只想被抱抱，甚至有人喜欢被怼；所谓个性化仍须抽象成模型能力，而“足够聪明，以至于可以扮蠢”本身也是指令遵循。
• 垂直 AI 的机会不在赌基座模型停滞，而在把领域 know-how、独家数据、反馈机制和工程能力组合成闭环。 好的 AI 产品经理因此要更全栈：高频试用最佳模型与 API、看论文、亲手做 demo，并保留古典产品经理对结构、调性和全局体验的判断，不能只靠 A/B test 把局部指标“做正”。

精读

1. AI 下半场的矛盾，是榜单智能没有转化为真实效用

• 2024 年初加入 Kimi、参与 App 早期建设并工作一年多后，丁丁对“AI 下半场”的判断是“完全认可”。她先划清概念：evaluation 是分析模型表现的过程，benchmark 则是用于测试的一套套题。

• 曲凯指出，模型刷榜时看似已有研究生、博士生水平，真实业务中却“最多连个实习生的水平都还算不上”。丁丁补充，下半场更稀缺的是产品经理式的问题定义，关注实际体验和效用。

• 丁丁提醒，端到端产品不能只测基座模型；system prompt、搜索 API、知识库、接口和整条工作流会共同决定结果。通用测试题与用户真实输入分布不同，自然可能出现榜单高分、产品难用。

2. 上半场证明了基座模型优先，提示词工程则从职业退回工具

• 曲凯将国内上半场大致放在 2023 年初至 2024 年底或 2025 年初；丁丁总结，核心仍是提升基座模型、挖掘 pre-train 潜力。Kimi 很早关注 RL，但 RL 的效果必须建立在优秀基础模型和 pre-train 上，DeepSeek 的成功再次验证了这一点。

• 过去一年，各家也尝试把现有能力包装成生产力产品：Kimi 做 App，字节做豆包，MiniMax 走 Talkie、星野等方向；在基模能力不足或训练范式尚未调整时，提示词工程被推到了非常重要的位置。

• 模型变强后，用户只需“更加简单、清晰、明确”地描述目标，也可能得到超越过去复杂 prompt 的结果。丁丁对 Sam Altman 说法的解释是：专门的提示词工程师可能不存在，但提示词本身“一定会存在”。

3. DAU 是必要反馈入口，却是容易被误当目标的代理变量

• 曲凯的观察是，行业一度从追 AGI 转向卷产品 DAU，DeepSeek 又把注意力拉回智能本身。丁丁认为，单一追求 DAU 是移动互联网经验的惯性，也有“有点偷懒”的成分：当模型优劣难以客观表达时，组织、资本和用户最容易理解的只剩规模。

• 她并不否定 DAU：“你必须要有用户，你才能获得反馈。”Benchmark 的来源既包括通用测试集，也包括线上反馈、人工构造和合成数据；足够规模确实能沉淀独家数据，问题在于噪音和目标错配。

• 最尖锐的对比是：来自快手的用户输入，与连续 50 轮上下文、最终要求生成调研报告的输入，不具备同等训练价值。用户数据只有经过筛选，并与希望提升的能力 align，才会成为智能进步的燃料。

• 曲凯追问：OpenAI 数据显著更多，Anthropic 为什么仍能追上？丁丁的回答不是否认数据，而是强调结果来自层层乘积：pre-train、SFT 激活、RL、训练范式与支撑 RL 的 infra，任何一环都可能改变最终体验。

4. 是否承接海量用户，首先是资源约束而非产品信仰

• 面对“如果你是半年前的梁文锋，要不要接这些 DAU 和数据”，丁丁的答案是：“如果资源充足，我一定想接。”她承认产品经理看到大量用户很难没有承接冲动，但前提恰恰是资源是否足够。

• 丁丁认为，DeepSeek 后来的处理看起来更像顺其自然，没有特意去承接全部流量。这里没有“用户数据无用”的结论，只有更现实的排序：数据价值要和资源条件、训练链路及各个模型环节一起衡量。

• 用户数据还能补足产品经理自身的认知边界：公司内部的人不可能是每个行业的专家，也无法穷尽不同模态和用法。高质量输入再结合专家访谈、调研，才更可能帮助模型公司理解真实需求并定义新 benchmark。

5. Benchmark 不只是测量工具，它直接规定模型进化的方向

• 丁丁从搜索产品转向模型产品后，最大的认知变化是测试集的生命周期。搜索可以长期复用一套相对稳定的数据集；模型一旦解决某个维度，旧 benchmark 就“生命周期结束”，必须不断定义新的维度和难度梯度。

• 一个深度搜索题可以是：“把腾讯过去十年的财报都找出来，并且预测一下今年它的净利润会上升多少。”输入、模型输出及对输出好坏的评价，共同构成 benchmark 的最小颗粒度。

• 同一道“好答案”不能跨业务复制。深度搜索需要基于全部数据源，尽量真实、全面；情感陪伴若回答“根据你的心情状态，我有以下几个建议：一……二……”，即使结构清晰，也可能恰恰暴露产品失败。

• 丁丁的核心判断是：“最终让各家模型产品拉开差距或表现出各自特点的，恰恰是它们对 benchmark 出题这件事的不同定义。”题的难度、好答案的标准，以及新旧能力之间如何取舍，都会牵引训练方向。她还提醒，不能只是把模型 A 训练好的东西直接套到模型 B 上，新一代要继续增长哪些能力本身也是取舍。

6. 好测试集要真实、分层、动态，还要能解释用户指标

• 丁丁给出的原则是：题目来自真实需求；具备难度与区分度，而非所有题处在同一层；随模型迭代流转，已解决的题可以退出，新能力对应的新题加入。坏 benchmark 则通常“特别简单”，或集中在单一维度、单一难度。

• Benchmark 最终必须落到产品效果。若测试表现改善，相关用户指标却没有改善，就应修改 benchmark，让二者不断 align；否则“你的评估就没有意义”，预期关系至少应当是正相关。

• 传统对话轮次、频次、时长和留存未必是最佳指标。丁丁以 Manus 为例，猜测更贴近任务价值的指标可能是：模型用最少步骤交付结果，同时结果被用户下载或引用的比例。

7. 四百道题可以作为假设，但头部 query 不能代表全部需求

• 曲凯以 400 道题为例询问创业初期的规模；丁丁认为题量并非越多越好，只要足以衡量产品表现即可。把用户 prompt 排序、抽取最高频的 400 条，确实类似搜索时代的高频 query 评测，却必须先过滤噪音和无效输入。

• 曲凯给出一百万 QV 的假设：头部 400 条也许只覆盖 20 万，剩余 80 万仍是长尾需求。丁丁因此反对只盯 top query，测试集应尽量贴合完整线上分布，同时重点收录点踩等强负反馈，用来识别产品底线。

• 随用户规模扩大，需求分布会从单一走向分化，评价维度也必须补充或调整。Benchmark 没有固定更新周期；丁丁说“越快越好”，同时强调还是要看数据。

• 组织结构也会影响质量。大厂常由数据团队制作标注和评测集，再交给策略、功能或端侧产品，链条中存在多个断点；创业团队更小、沟通更短，反而可能更快迭代对“什么是好”的认知。

8. 主观偏好无法消除，只能被建模、分层和个性化

• 数学和代码存在 ground truth，因此容易评价，也更容易被采用；语言风格、表达方式则缺少百分之百共识。DeepSeek 出圈时被认为“有哲思和优雅”，说明团队必然把这种文风隐含地定义为好，而此前其他公司未必把它当成重要指标。

• 曲凯据此提出两种未来：不同模型形成不同性格，或针对不同人群乃至每位用户建立 benchmark。丁丁指出现在已经存在一些场景偏好——编程可能优先选 Claude，深度搜索可能选 o3——但个性化未必需要“一千个用户、一千套题”，也可以抽象为 memory 等产品或模型能力。

• 关于用户“就喜欢蠢的”是否与底模追求更聪明冲突，丁丁的回答很干脆：不冲突，因为装蠢也是指令遵循，“要让他足够聪明，以至于他可以扮蠢”。曲凯把它概括为“大智若愚”。

9. 情感陪伴揭示了 evaluation 最难的一层：人类价值观也没有标准答案

• 丁丁用“我今天失恋了”拆解 Character.AI 的难题。较差的模型会立即列出跑步、见朋友等建议；更像真人的回答也许只是“怎么了？”，有 memory 时还会追问：“不是上个星期你跟我讲，你们俩之间好好的吗？”

• 另一种较好的回复可能是询问发生了什么，也可能只是“抱抱你，我一直都在这里陪你”。心理咨询师的视角则可作为参照：先关注情绪变化、让用户倾诉，而不是急于提供方案；曲凯指出，有人恰恰想解决问题，有人喜欢被安慰，还有人希望对方怼一句“失恋了又怎么样”。

• 因而一套 benchmark 可能只能照顾约 80% 的用户，剩余需求留给个性化、强基座模型和小众产品。更深的疑问是：模型的评价标准本质上是人类价值观映射，但这种映射是否真的正确？两人都没有给出确定答案。

10. Benchmark 会成为秘密资产，垂直壁垒则来自领域反馈闭环

• 生产力场景拥有较明确的正确性和交付标准，因此 benchmark 相对好定；陪伴类产品虽可能催生小众机会，却更难形成统一评价。曲凯由此问到未来是否会像偷代码一样“偷 benchmark”；丁丁认为 benchmark 是核心资产。

• 丁丁说自己可能维护一套只有自己知道的隐藏测试集，“甚至算法团队的同学也不应该知道”。原因是训练者知道题目后，可能不由自主地让模型针对性作答，也可能被 hack；因此她倾向于在上线前用秘密集复测。

• 对“技能树点长板还是平均发展”，丁丁分成两层：基座模型越强，通常在垂类也会自然表现更好，“一个博士生就是比一个小学生更聪明”；但垂直产品仍可通过工程能力、独家数据和业务理解，设计出更准确的反馈信号。

• 以销售为例，真正的壁垒不只在模型能力，而在团队比别人更懂销售交互、正反馈和奖励机制。深领域 know-how 加上模型理解，能让创业公司更快完成结合、积累用户，并形成行业认知。

11. AI 产品经理必须全栈，但古典产品判断仍不可替代

• 丁丁认为产品经理的核心仍是“翻译能力”：发现问题，把用户和业务场景抽象出来。过去落到交互和结构，如今还要把完整业务流程翻译成 evaluation 标准、观测指标和反馈节点；数据质量与模型能力边界的重要性则显著上升。

• 她建议持续使用最好的模型与 API，每隔一两个月感受版本变化，并“把所有你觉得想做的事情先用 AI 做一遍”。GPT-4o 的“言出法随”式图像生成、多轮指令修改，就是只有亲自体验后才能更新的边界。

• 她主张丢掉模块流转意识，把自己同时当产品经理、设计师、前端，甚至尝试后端，亲手闭合全流程；看论文同样是必备习惯，但产品经理理解原理的深度无需复制算法同学。

• 微信经历留下的原则依旧有效：先定产品结构再做功能，四个 tab、扫码入口和朋友圈承接多头像需求，体现模块之间的有机联系。A/B test 可以跑 8 个甚至 20 个实验，却无法生成微信的内敛简洁或 Instagram 的 fancy 调性；局部指标还可能被 hack，最终伤害全局。

12. 招到好 AI 产品经理，要看端到端经历、作品和真实使用习惯

• 丁丁会优先考虑在初创模型团队或小公司完成过从零到一、端到端工作的候选人，因为这类经历更能证明其全栈能力，而非只负责成熟流程中的单个模块。

• 候选人利用业余时间做过小 demo 或产品，是非常好的信号；作品不必突出，但必须证明他亲手跑过流程、验证过一些东西、碰过模型边界。

• 即使前两项都不满足，也可以直接问：“你最喜欢哪个模型？平时用得最多的是哪个？在什么场景用？为什么？”具体回答能体现其行业理解、热情和专注度。