先锋 趋势 方法 投研 作者
投资人 Meng Xing 谈开源影响、中国 AI 人物与 RL 数据的未来
返回节目精读

投资人 Meng Xing 谈开源影响、中国 AI 人物与 RL 数据的未来

摘要

  • Kimi K3 让 Xing Meng 相信,中国开源实验室已经贴近前沿,不再只是快速追赶者。 Kimi 仍是一个不到400人的理想主义实验室,专注于 AGI。它在算力受限的情况下,将包括 KDA 在内的底层架构创新整合进一款2.8万亿参数模型,其中一些创新此前只在300亿至400亿参数的“玩具模型”上验证过。Xing Meng 回忆,约一年前发布的 K2 若放在闭源模型榜单中,大概排名第6或第7;K3 已接近第2或第3。他预计,Kimi 与 DeepSeek 将在开源模型排名中轮流占据第1。
  • 据称,中国开源模型真正可交易的影响在 Token 收入,而不在于吸引前沿研究人员的注意力。 前沿实验室的研究人员并不太在意这些模型,尝试过的人也很少;但大量 Agent 开发者已经转向 K3。Meng 听到的说法是,这显著影响了前沿实验室的营收,尤其是 Anthropic:7月 Token 消耗增速低于预期,有人甚至称已经停滞;如果总消耗持平,而用户用更便宜的模型替代昂贵模型,收入就会下降。用户可能会组合使用不同模型,例如用 K3 或 DeepSeek 写代码,再用 Claude 审查。即使在 Anthropic 的 Fable 5、Opus 5、Opus 4.8,有时还有 Opus 4.6 之间,用户也未必总能判断哪一个更适合某项任务。
  • ByteDance 据报道决定不蒸馏前沿模型,这一选择既勇敢又意味深长,不能简单理解为承认落后。 Meng 特别在意那个据称附带的条件——接受 Seed 可能落后于中国同行:如果一家公司拒绝蒸馏,可能已经落后,也可能面临落后的风险。他区分了直接蒸馏与通过合成数据进行的间接蒸馏,认为所有人或多或少都在蒸馏某些东西。他表示,Seed 和 DeepSeek 可以承受落后几年,因为不需要融资,从而保留了用“正确的方式”冲到顶尖的野心。
  • ByteDance 的 Seedance 源于一次高风险的规模下注,当时几乎没有足够先例证明这条路行得通。 Meng 称,相比此前的多媒体模型,Seedance 的规模扩大了一个数量级,需要的 GPU 从数千张增至数万张;与此同时,LLM 和编码任务对算力的需求也在上升。他将成果归功于 ByteDance 一名非常年轻的女性研究员。收入似乎主要来自专业消费者:Topview、LiblibAI 等视频画布服务据称在 Seedance 发布后,从年初的数百万美元或中个位数百万美元收入增长到接近1亿美元甚至更高,部分买家还需要预付 API Token。主持人称,今年中国短片的影响力已经超过电影院;Meng 在确认其中既包括真人出演也包括 AI 短片后,接受了这一比较。
  • “新实验室”的定义正在变化,Meng 认为 Cursor 的路径变得越来越重要。 一个拥有独特、几乎“不可触碰”用户轨迹数据的垂直应用,可以通过后训练打造 Composer 这样的模型,并有机会超过许多预训练模型。优势不在于新方法,而在于获得前沿实验室没有的数据。法律、医疗等垂直工具,可能比通用应用更有机会训练出有辨识度的模型。更深层的问题在于,研究人员对数据的选择往往反映他们对编程和数学的熟悉程度;真正的测试环境应当是人们每天使用的工作软件——Slack、Zoom、Salesforce 以及类似系统。
  • 训练数据的未来属于环境,难度则从稳定的优化任务一路延伸到部分可观测和动态变化的世界。 Meng 描述了静态 Kernel 优化环境、类似 Slack 的部分观测环境,以及金融或社交媒体环境——在后两者中,每一次行动都会改变下一状态。Vending-Bench 将这一思路推向物理世界,让模型运营虚拟自动售货机;其创建者还在附近搭建了真实商店或市场,以更不可预测的条件测试 LLM。
  • 数据供给正在沿两种模式快速增长。 Scale、Mercor 等按人头计价的供应商,把招募来的劳动力像咨询服务一样出售;新一批供应商则销售环境,价格从几百美元起,最高约10万美元甚至更高。一个 Booking.com 任务可能只需约1000美元或更少,而重建大部分 AWS 式 DevOps 环境,成本可能接近50万美元。Meng 认为,前一种模式目前收入更高,后一种由研究人员主导、提前布局的模式增速更快。在韩国最近一场会议上,年轻研究人员告诉他,自己最想做的是创办数据供应商。
  • AI for science 的真正瓶颈是验证,而不只是建模。 AI 科研 Agent 已能阅读文献、设计实验、在部分情况下控制实验设备、分析结果并撰写论文,但科学数据库、工具、工作流和湿实验执行仍然困难重重。蛋白质设计模型面临严重的数据与多模态问题,虚拟细胞模型则试图在无需昂贵实验的情况下测试生物相互作用。真正的验证标准,是药物能否在人体内发挥作用并治愈疾病;完整反馈可能要等到研发流程约第5或第6年、进入 FDA 批准的临床试验阶段后才会出现。
  • Meng 认为,硅谷最大的误解是把中国 AI 的进展完全归因于政府支持。 他表示,美国生态没有充分认可那些在艰难约束下推动进展的个人、创业者和研究人员,并相信只要他们能在中国做到,就能在任何地方做到。

精读

1. Kimi 是不到400人的理想主义实验室,刚刚交付接近前沿的模型

  • Meng 对 Kimi 的画像是一个“汇聚了真正聪明的年轻人才、去实现非常理想主义目标的枢纽”——目标是 AGI。这个团队经历了3年媒体关注度最高的时期、“糟糕的日子”,以及重返巅峰的过程,始终没有转向应用或多媒体。几乎还在上高中的实习生也能获得真正的算力,并参与构建 K3 的关键组件。
  • 团队规模是刻意控制的:Xing 表示,Kimi 目前仍不到400人;主持人估计,3年下来团队大约只有300人左右。这并不是因为资源不足,而是为了保持团队完整,避免上下文和知识在扩张中流失。
  • K3 是否让他感到意外?答案是肯定的。Xing 回忆,约1年前发布的 K2 若放在闭源模型榜单中,大概排第6或第7;如今仍处于开源状态的 K3 已接近第2或第3。将底层架构创新——其中一些只在300亿至400亿参数的“玩具模型”上验证过——整合进一场2.8万亿参数的训练,通常会拖累短期表现;Kimi 却在算力有限、周期很短的情况下完成了这件事。“如果我说自己完全不意外,那就是在撒谎。”

2. DeepSeek 创始人、稀缺催生的创新,以及中国实验室为何各有性格

  • 谈到从未见过面的 DeepSeek 创始人,Meng 说:“他似乎很早就看透了这个世界”——知道如何变得富有、赚钱、交易和招募人才;但他对财富或影响力似乎并不感兴趣,也没有利用这些能力去积累财富或扩大影响力。这个实验室从中国高校招募未经雕琢的年轻人才,而不是从美国顶级实验室挖来高阶、知名研究员。几位 VC 朋友晚上9–10点去办公室拍照,发现按仍在工作的员工占比计算,DeepSeek 和 Kimi 是最拼的两家公司。“很多努力其实都是自发的。”
  • 他反复遇到一种地位倒置:OpenAI、Anthropic 和 Gemini 的基础设施人员,竟然“仰望 DeepSeek 的年轻人”,其中包括1998年及以后出生的工程师。背后的机制就是约束:“只要把资源压缩到足够稀缺,足够多的优秀人才聚在一起,魔法自然会发生。” DeepSeek 还会发布异常详尽的技术论文及配套工作;Google 等机构的研究人员会说:“我以前不知道这件事还能这样做。”
  • Kimi Delta Attention 与 DeepSeek Sparse Attention 在技术上不同,但共享一些原则。不同模型版本之间的能力似乎在不断跃迁。与美国资深研究人员频繁跳槽不同,中国研究人员较少在国内实验室之间流动,因此每家实验室都会形成独特性格,由创始人的信念和被其吸引来的人共同塑造。

3. Z.ai 与 MiniMax:两家上市实验室,两种不同性格

  • 主持人介绍 Z.ai 时,提到 GLM-5.2 已获得强劲的编码采用率。Xing 认为,Z.ai 的工作质量不错,团队规模更大,核心围绕 Tang Jie 教授及其学生构建,并已拓展到电脑操控、多模态及其他产品套件。他问道,Z.ai 的市值是否已经达到1.23万亿元人民币、接近2000亿美元——即便2025年收入仍然非常小。相比 Moonshot 和 DeepSeek,Z.ai 的聚焦程度较低,更像一家按 OpenAI 路线发展的完整 AI 公司。
  • MiniMax 的股价经历了“过山车”:它曾与 Z.ai 一起上涨,随后大幅回落,目前接近或略高于 IPO 发行价,约为峰值的1/5至1/6。公司最初打造了类似 Character.AI 的知名陪伴产品,也帮助定义了中国公司如何构建这类产品;后来转向多模态模型,包括 MiniMax M1 和 Hailuo 系列。但 Xing 认为,MiniMax 在纯 LLM 的推理和编码方面相对不够成功。
  • 2024年初的一个人才信号是:许多原本可能加入 ByteDance 或 TikTok 的“酷人”都去了 MiniMax,其中包括产品经理、开发者、研究员和市场团队人员。“整体氛围有点像 TikTok。”

4. ByteDance 拒绝蒸馏:勇敢、意味深长,但只有部分公司负担得起

  • 据报道,Zhang Yiming 曾告诉员工,Seed 将拒绝蒸馏前沿模型,“即使这意味着我们会落后于中国同行”。Meng 抓住了这句话中的条件:“如果你不做蒸馏,就意味着你会落后,或者已经落后了。这对我来说才是更大的新闻。”
  • 他将蒸馏分成两类:直接蒸馏是把一套 Prompt 分布发送给前沿模型,再用返回结果训练,包括在可获得时使用 Claude 的思维链;间接蒸馏则通过合成数据完成。由于大量合成数据由模型生成,“默认情况下,合成数据蒸馏了用于生成它的模型”。因此,所有人或多或少都在做某种蒸馏。Meng 表示,合成数据和直接蒸馏都已证明有效,但他没有证据判断谁在做什么。
  • 为什么拒绝蒸馏?因为这条捷径“会给我们一种虚假的满足感,因为我们是用错误的方式实现了目标”。当主持人问是否有人能承受落后几年时,Meng 回答:“如果你不需要融资,可以。”他认为 Seed 和 DeepSeek 就拥有这种余裕。

5. 据称,开源真正冲击的是 Token 经济,而非前沿研究人员的注意力

  • 这次出行让 Meng 感到意外的是:尽管围绕 K3 的讨论很多,开源也受到广泛关注,但前沿实验室的研究人员“并不太在意这件事”,真正试用过这些模型的人很少。相比之下,Agent 开发者已经有相当一部分转向 K3,尤其是新闻报道呈现出的情况。
  • Xing 听到的说法是,这已经显著影响了前沿实验室的营收,尤其是 Anthropic。7月 Token 总消耗增速低于预期,有人称已经停滞。如果总消耗持平,用户从昂贵模型切换到便宜模型,就会压低收入。一个典型的混合用法是用 K3 或 DeepSeek 写代码,同时保留 Claude 做审查。
  • 对普通任务而言,模型间的差异正在收窄:“大多数时候,我不认为你能那么容易分辨顶级模型之间的区别。”即使在 Anthropic 的 Fable 5、Opus 5、Opus 4.8,有时还有 Opus 4.6 之间,用户也无法总是判断哪一个更适合某项任务。K3 并不算特别便宜,但比可比模型便宜。
  • 为什么非编码 Token 的增长会停滞?企业推动 AI 落地可能需要2–3年,因为合规、安全和隐私工作都需要时间。白领任务也缺少容易预先定义的目标——“在看到 PowerPoint 之前,很难把目标设定好”——因此人类仍在流程中,吞吐量受到限制。Meng 提出的杠杆是提速:如果把制作一份 PowerPoint 的时间从10分钟缩短到10秒,就能进行更多轮迭代。“这还没有发生。”

6. Seedance 的高风险规模下注,构建了专业消费者驱动的短片经济

  • 回到2023年,Meng 认为,如果要猜谁最可能做出未来最强的多媒体模型,答案显然会是 ByteDance、Kuaishou 或 Meta,因为它们拥有数据、分发、平台和 GPU。Kuaishou 的 Kling 曾登上第1,随后被 ByteDance 的 Seedance 超越。ByteDance 将 Seedance 的规模在此前多媒体模型基础上扩大了一个数量级,需要的 GPU 从数千张增至数万张;当时几乎没有证据表明这套方法会奏效。他将成果归功于 ByteDance 一名非常年轻的女性研究员。尽管 Meta 拥有相关数据和能力,但至今仍未展现出他预期的进展。
  • 收入主要由专业消费者驱动,而非个人消费者。Topview、LiblibAI 等视频画布服务据称在年初的收入只有数百万美元或中个位数百万美元,Seedance 发布后却增长到接近1亿美元甚至更高。一度有买家必须预付款,才能锁定 Seedance API Token。
  • 主持人称,今年中国短片已经超过电影院。Xing 先确认这其中既包括真人出演的短片,也包括 AI 短片,随后表示这一比较是合理的。他说,AI 生成短片此前最擅长科幻、传统中国科幻和古装武侠,因为这些题材对特效的要求高于对细腻人类情感的要求。Seedance 的演示展示了更流畅的情绪转折,例如从大笑转为哭泣,以及更准确的高动态动作,例如武打场景中手臂不再穿模。因此,它几乎已经成为许多短片的独家供应商。
  • 对介于电视和游戏之间的互动媒体,Xing 修正了此前的乐观判断:“我得说,我有点失望。”主持人以 Detroit: Become Human 为例,介绍这种一半电影、一半游戏的形式;Xing 表示,这类内容已经出现过个别爆款,但质量和普及度还没有高到足以全面起飞。他仍希望这一幕最终发生,并说:“我认为它会比游戏本身更大。”

7. 新实验室正在被重新定义:Cursor 路径与研究员品味问题

  • 过去对新实验室的定义,核心是年轻研究人员或拥有学术背景的资深研究人员。如今,Xing 更多想到 Cursor:一家专注应用的公司,拥有超级应用和用户轨迹数据,通过后训练而非预训练训练出 Composer,使其能够超过许多预训练模型。“这不是一种新方法,而是一套前沿实验室没有的新数据。”
  • 判断标准是:数据必须独特且“不可触碰”,而垂直领域比通用市场更适合。法律或医疗应用有机会针对独特任务调优模型,从而超过通用模型;相比之下,通用 Agent 的 Prompt 与训练 Claude、OpenAI 模型时已经使用过的数据相似。Xing 提到了 Harvey 及美国其他垂直应用 Agent,并预计中国也会出现类似发展。
  • 更深层的观点是,数据选择“取决于核心研究人员自己的品味”。刚毕业的 PhD 可能熟悉编码和数学,却“可能从未做过多少 PowerPoint 或会计工作”。衡量模型的真正标准,应当是人们实际使用的工作环境——Slack、Zoom、Salesforce 以及其他 SaaS 系统,而不是由研究人员偏好想象出来的环境。Cursor 之所以较早出现,部分原因就在于编码是研究人员熟悉的领域。

8. 训练数据的未来是环境:看世界会在多大程度上反过来施加约束

  • 数据已经从静态材料——无论是爬取数据还是合成数据——转向环境:模型在其中尝试完成任务,并从奖励中学习。Xing 的分类从静态 Kernel/CUDA 优化开始,这类任务“可以重复100万次而不会改变”;再到部分可观测环境,例如新员工在 Slack 里“试图搞清楚老板到底想要什么”;最后是交易或社交媒体等动态环境,在那里每次行动都会改变下一状态。一条社交媒体帖子会改变粉丝的认知,因此同一个实验不能简单重复1000次。
  • Vending-Bench 通过让 LLM 运营3台虚拟自动售货机,测试从虚拟世界向物理世界过渡的能力:模型需要选择供应商、设定价格并决定营销方式。创建者告诉 Xing,他们还在附近搭建了一个市场或商店,用来测试模型能否在不可预测的条件下经营现实世界的生意。“这些数据不在互联网上……必须在现场生成。”

9. 数据供应商正在两种完全不同的商业模式上快速增长

  • 过去6个月,数据供应商的收入大幅增长,许多供应商的 ARR 已达到20亿至30亿美元。中国供应商尚未达到这一规模,但增长很快。第一种模式是按人头计价,Scale 和 Mercor 都在采用:它们像咨询公司一样出售招募来的劳动力,属于高度依赖关系的 B2B 生意,还要投入大量资源宴请决定数据采购的研究人员。
  • 第二种模式销售环境,价格从几百美元起。一个 Booking.com 式的预订任务可能只需约1000美元或更少;如果要为一个高难度 DevOps Agent 几乎完整复刻 AWS 体验,成本可能接近50万美元。数据公司的研究员创始人会提前3个月预判实验室需求:创建一个 benchmark,将其做出影响力,再销售能帮助模型在该 benchmark 上取得高排名的数据。Xing 认为,按人头计价的模式目前收入更高,而提前布局环境的模式收入增速更快。
  • 在上个月韩国的一场学术会议上,年轻研究人员告诉他,自己最想做的是创办销售数据的创业公司:“他们不做模型公司,也不做 Agent 公司——他们要做数据公司。”主持人描述了从人工标注转向环境和 benchmark 构建的更广泛趋势;Xing 表示,中国供应商同样是从人工标注业务起步。他还提到 HLE,即 Humanity’s Last Exam,作为高端专家标注的例子。

10. AI for science:易于构建,难于验证;以及硅谷对中国的盲区

  • AI 科研 Agent 可以阅读文献、设计实验、在部分情况下控制实验设备、分析结果,以及撰写或发表论文。Xing 说,这些系统“如今已经不算难做”,但要让它真正优秀且有意义仍然困难,部分衡量标准是它能否产出一篇受到认可的论文。障碍包括作为底层模型的 OpenAI 和 Anthropic 模型并未针对科学数据库和工具进行专门训练;此外,湿实验的执行、数据采集和验证都需要时间与人工介入。
  • 在模型侧,自 AlphaFold、尤其是 AlphaFold 3 以来,DeepMind 以及 Chai、Boltz 等公司一直在推进最先进的蛋白质设计和复合结构预测。Xing 还提到他们投资过的蛋白质设计模型公司。这些模型可以尝试从头设计,创造自然界不存在的蛋白质或抗体;虚拟细胞世界模型则可能在不进行昂贵湿实验的情况下,测试设计出的结合体是否会按预期发生相互作用。最大的问题是细胞数据有限,以及多模态能力不足:酶、抗体、抗原和肽必须被放在同一系统中表示,而不能只交给彼此割裂的小模型处理。
  • 结构性的验证缺口依然严重:虽然存在中间验证器,但“真正的验证器,是这种药物在人体内是否有效,以及能否治愈疾病”。完整反馈可能要等到研发流程约第5或第6年、进入 FDA 批准的临床试验阶段后才会出现。“你无法想象 LLM 会有这么长的反馈周期……但这就是药物设计模型今天面对的现实。”
  • Xing 认为,硅谷的一个误解是把中国 AI 的进展完全绑定在政府通过资金、算力等方式提供的支持上。他认为,美国生态没有充分认可那些在艰难约束下取得进展的个人、创业者和研究人员;只要他们能在中国做到,就有能力在任何地方做到。