先锋 趋势 方法 投研 作者
80.与梅涛院士的 3 小时访谈:语言、视频、具身终将汇聚,为什么是世界模型?
返回节目精读

80.与梅涛院士的 3 小时访谈:语言、视频、具身终将汇聚,为什么是世界模型?

摘要

  • 梅涛的模型世界观可以压缩成一句话:“图片是入口,视频是过程,终局可能就是世界模型。” 图片是二维信号,隐含空间关系与物理规律,客户在平台上 50%—60% 的时间花在做一张图上,所以先把图片模型做到世界最好,再沿“图片→视频→全模态→世界模型”往上走。他所在团队 2017 年发表全球首篇文生视频论文,除一位科大老师外,其他作者都在智象未来且一直未离开。
  • 智象押注架构创新而非算力军备:独创 UiT(Unified Transformer),去掉编码器和解码器,让所有模态以原生 token 直接互操作。 DiT 的隐空间压缩有损、抽象程度对不齐,带来幻觉且难以做到像素级控制;创业公司只有两条路——“模型架构上创新”,再“用十分之一的成本、十倍的效率去逼近或超过大厂”。开源 8B 的 HiDream-I1 下载超 200 万次,在 Artificial Analysis 的 open-weight 模型中全球第一,闭源模型正在冲榜。
  • 多模态尚无成熟的 scaling law、仍停在 GPT-2 到 GPT-3 阶段——这正是创业窗口。 视觉 token 至今没有统一定义:一张图约 10 万 token、15 秒视频约 100 万 token;他早年实验显示视觉“词表”要 120 万以上才有较好结果,而英文常用词只有五六千。训练仍在千卡、接近万卡级,架构未收敛,“今天的多模态还不走军备竞赛”。机器消耗数据的速度甚至赶不上人类产生视频数据的速度。
  • 多模态商业化先于智能涌现:“智能还没涌现,但表现力已经涌现了。” 2024 年全球 AIGC 收入约 200 亿美元,约六成来自图像和视频;智象平台月耗约 3 万亿 token,去年收入 1 亿元人民币,今年“肯定是几个亿”,To C 与海外收入各占约三分之一;AI 短剧今年光制作成本“接近 100 亿”人民币,TikTok 上 100 多万商家的短视频广告是长线赛道,模式是“卖铲子”加按 GMV 分佣。
  • 世界模型不是一个模型,而是三条未收敛的路线:LeCun 的 JEPA 预测下一状态、李飞飞重建 3D、他所在的视频数据驱动派。 判断标准是“要看最多的数据在哪里”:现在所谓世界模型、具身模型体量只有几十 B 或一两百 B,而视频模型已做到一两百 B,智象一年数据约 100 PB;真机数据“可能也就是百万小时,有可能还不一定有”。顺势做具身数据生意:与诺亦腾合作,把遥操作数据增广成更多第一人称数据,并保持毫米级或相近精度。
  • 面对 Seedance 2.0 和大厂,他的回答是差异化加底线思维:“不要躺在大厂的车辙上……我只有一梭子弹,打完这一梭就没了。” Sora 烧了 55 亿美元,Seedance 投入肯定是百亿元人民币级别,正面拼算力“不科学也不值得”;打法是图片模型闭源全球前三、开源全球第一,视频在短剧、短视频营销等垂直领域做到头部。大厂也更焦虑——一旦离开第一梯队,影响会指数级放大。
  • 在中国他更偏向 Sam Altman 而不是 Dario:“在中国创业是比在硅谷创业难得多”,投资人需要你不断沿途下单。 中国投资“只投共识,一旦共识形成基本没有非共识”;LLM 算力差距是“贫穷限制了想象”——中国大厂训练可能只有几万张卡,对手是几十万张甚至百万张;但中国公司在视频多模态上表现很好,短视频数据和供应链具有优势。船票的本质是“能不能做出一个好的自研模型,而且是在榜单上”,多模态创业公司如今只剩约三家。
  • 具身赛道“稍微有一点泡沫”,且今天的视频模型还训不了机器人。 “有些公司一个月过去什么都没有发生,估值就涨了好几倍”;Seedance 只是“看上去符合物理规律”——真实数据里人会用三指抓,生成视频却可能永远五指抓,毫米级点云精度也对不上。梅涛对世界模型的终局表述是:从世界中学习,把世界重构、改造和编辑,而不是简单创造一个世界。

精读

1. 定场:图片是入口,视频是过程,世界模型是终局

  • 开篇即亮出全部底牌:梅涛团队 2017 年发表全球第一篇文生视频论文,“论文里面的所有的作者,除了那位科大的老师,所有的作者都在我们公司,而且这些人从来就没有离开过”——团队稳定性被他视为对标 Anthropic 的第一个理由。
  • 贯穿节目的主线判断:“我们始终认为图片是入口,视频是过程,那终局可能就是世界模型了。还是要看谁多的数据在哪里。”
  • 节目开场由主持人铺陈背景:谷歌 5 月 20 日 I/O 上发布 Gemini Omni,OpenAI 悄悄砍掉 Sora、更多聚焦 coding,硅谷做减法而中国多模态战场未收敛——梅涛正是从底层架构下场的创业者。

2. 做“视频领域的 Anthropic”:稳定团队 + 坚定 To B

  • 他给公司的记忆点很直接:“我们是希望能做视频领域的 Anthropic,做一家全球化的、高科技的、平台化的公司。”值得学的两点:团队从未流失,以及“坚定地走企业服务这条路”。
  • 论据带着行业观察:Anthropic 一开始“也没有像 OpenAI 那么显赫”,但企业服务赛道慢慢起来了,“复购率、客单价越来越好”;他断言“AI 领域最后的终局就是给企业里面的个人提供更好的服务”。

3. 视频领域的那把“刀”是图片

  • 主持人的问题很准:Anthropic 选了 coding 作那把刀,视频领域的刀是什么?梅涛的回答:图片。“图片是一个二维信号,跟语言信号完全不一样……是我们视觉上对物理世界的一个 moment 的 capture”,里面隐含人物空间关系、逻辑关系和物理规律,沿时间轴延伸就是视频。
  • 落到经营层面的证据:客户在平台上创作时“百分之五十到六十的时间是花在制作一张图上面”;且图片与视频底层架构基本无区别(都源自 Diffusion Transformer),“图片模型做得好,后面才有可能把视频模型做得更好”——他以 Google 的图片模型与 Veo 3 为例说明这一点。

4. 全职创业的院士是稀缺画像

  • 他自陈职业生涯二十多年一直在工业界——微软、京东、再到智象,“我没有拿过第二份薪水”;在中国,“有院士这个 title 的、愿意躬身入局、愿意 all in、每天七乘二十四小时想着公司的事情的团队其实并不多”。

5. 从小学到科大到微软亚研院:科学家的种子

  • 起点是小学三年级奥数拿了学校唯一的奖,校长公开表扬“这个同学以后会成为科学家”——“科学家是什么,我心里面没有明确的印象,但我觉得我可以朝这个方向努力”。科大“千生一院士”的氛围接续了这颗种子。
  • 2003 年非典时期进微软亚研院实习,旁边 cubicle 坐着颜水成、余凯,隔壁是沈抖;当时微软全球一千个研究员里有五个图灵奖得主、三百多个 Fellow,“那个氛围让我觉得做科学研究是一个非常幸福的事情”。校友网络同样惊人:周博文、寒武纪陈天石、转会费一亿美元“比 C 罗还贵”的余嘉辉都是科大师兄弟。

6. “梅花香自苦寒来”:主持人质疑履历里没有苦寒

  • 卫诗婕的挑战——“我研究了一下你的履历,好像没有找到苦寒的痕迹”。梅涛的回答是方法论而非苦情:“我做一件事情要付出百分之一百二的努力,从各个角度来保证它的成功”;最极限的一次是四天跑五个城市见投资人、见客户,把中国从北到南穿了一遍;跑半马、撸铁是为了“保证精神饱满、情绪高昂”。
  • 他对模板人生的祛魅:“一个人要付出百分之九十九的努力才能成为百分之一的那帮人,但很多人在百分之五六十的时候就满足了。”反人性突破自己,“哪怕是负反馈,对我来说也是一个正反馈”。

7. 职业生涯最重要的一次负反馈:晋升慢

  • 微软时期他因 promotion 比别人慢而压抑,mentor 的一句话成了转折:“有的时候慢一点不一定是坏事,你今天慢一点,跨过这个坎你可能就很快了,因为你所有的东西都在积累。”半年后他变得“非常顺利”,进步也很快。
  • 他抽出的通则:“很多人忽略了自己长期的进步和长期的价值,但放大了自己短期内的价值。一个长期的游戏,是由很多次突破边界、或者永不停止的突破边界开始的。”

8. 科大是“另一个黄冈中学”:合肥的第一印象

  • 大一成绩不好才发现同学都在刷《吉米多维奇》、考托福,“原来我要及早规划人生,要比上高中时更努力才能跟这帮人在一个维度里聊”。当年填志愿时以为科大在北京,考完才知道在合肥。
  • 保留一个生动的入学场景:家长在西区门口问路,被问的正是西区区长黄继虎——“说他妈的这个科大的西区大门就在这里”。科大校风朴素,体育场基本是空的,学生全在教室、图书馆、实验室,与他后来在北航看到的北京学生的活跃截然不同。

9. 张宏江的第一个任务:两百篇论文与放在桌上的脚

  • 入职微软第一天,mentor 张宏江布置的任务是 multi-camera 体育视频分析:先看两百篇论文,一个月后做总结。第一次汇报时张宏江“脚是放在桌子上的”,不看第一页、从最后一页往前翻,半小时的汇报五分钟看完,只让讲其中一两页——“我才知道我的导师是这个领域的开山鼻祖,还这么 detailed 地看问题”。
  • 结果是大半年“什么结果都没有”:当时 CMU 的 Takeo Kanade 用约 60 个 camera 在玫瑰碗 Super Bowl 做了 EyeVision 系统,而中国没有这样的系统,“巧妇难为无米之炊”,这件事在他心里压了很久。

10. 二零一九年的交代:京东自动导播系统

  • 2019 年在京东与咪咕等合作,做了足球场 16 机位的自动导播系统,模拟人类导播行为,“可能比当时 Takeo Kanade 他们做的 EyeVision 更先进”;这项工作 2020 年拿了 ACM Transactions 年度最佳论文——“我算是对当年微软给我的第一个实习项目没有做成的一个交代”。
  • 回看那个任务的本质:用 AI 分析、理解视频画面,“是后来的多模态、全模态、世界模型的一个最早的开端”,也奠定了他在 CV 上的方向;今天智象的 HiClips 产品(输入访谈和 prompt,自动剪辑、生成并切换语言)正是当年“虚拟机位+自动导播”设想的当代版。

11. 冷门领域的存在价值:没有视频压缩就没有今天的大模型

  • 对“当年 CV/多媒体一年只有几百人参会、如今 everything is generative AI”的收敛,他的辩护值得留存:“如果当年没有做 video compression,今天我们大模型不可能成功——多模态处理的是几千亿张图片、几千万小时的视频,没有好的压缩算法你存不下来、load 不了。”很多领域是为今天的 AI 做了铺垫,“再过一段时间其他领域也会起来,这是事物发展的规律”。

12. 从 R-to-D 到“model is product”

  • 微软时代的转化链条:一篇 paper 变技术要乘以十的 effort(一个研究员配十个工程师),变 standalone 产品又要一百个工程师,“没有大半年不可能”。今天完全不同:“前两天萨提亚也说了,model is product——你在 model 里不断创新,model 本身就是产品,它不需要再转化。”
  • 这解释了为什么 researcher 变贵了:R 和 D 完全捆绑,模型提升“来自 researcher 对领域的认知、判断和快速试错”。

13. 为什么坚定 To B:与闫俊杰的镜像选择

  • 主持人点出反差:MiniMax 闫俊杰当年在商汤做 To B 做得“非常不喜欢”,坚定创业要做 To C;梅涛反着来:“To B 的企业是能够基业长青的”,取决于团队基因——他的团队在 To B 公司做了很多年,知道怎么做 KA、做渠道、控成本,“曲线虽然慢一点,但天花板会很高,也会形成比较好的生态壁垒”。

14. 生成式时代的 To B 不是 SaaS 时代的 To B

  • 对“To B 容易做重、变项目制、不性感”的质疑,他的反驳是产品力触达:“你今天看 Sweep,它现在估值涨得很厉害,已经涨到几百亿美元,团队规模却没有扩大。”智象服务 TikTok 平台商家、中国移动线下门店,“做了很多 To B 尝试,但公司的人没有增加,现在才两三百号人”,且“坚持不做定制化研发”。
  • 两种模式:服务平台客户、借平台触达 SMB 和 C 端;加上中央部委客户和直客长期陪伴,再通过直客培养渠道拓客。

15. Pro C 是 To B 的放大器

  • B/C 的边界在模糊:“移动互联网的普通 C 是免费用户,今天 AI 的用户都是 pro C,给钱、订阅 token、消耗工具去创作作品。”To C 是“模型能力的直出”,C 端用户最先感知模型强弱,还能做 branding 和回收反馈——所以以 To B 为主、同时做 prosumer 工具。
  • 三块业务:商业智能体做短视频营销、给短剧团队提供创作者工具、社媒广告设计;其中前两块是 To B 主业,第三块不是特别大的 big bet。

16. 中国创业三个关键词:全球化、出海、软硬一体

  • “如果说我只是做一家国内公司,我可能就不出来了。”第三个关键词最少被谈及:软硬件一体。“在中国创业,如果没有用到中国的供应链优势,你是用你的短板在跟硅谷竞争”——硅谷的长处是资金、算力、人才密度,纯软件“不是不能做成,而是相当有挑战”。
  • 实践是 HiFans,一种类似 3D 全息的广告屏,Q1 就卖了一万多台:难点不在屏,在把线下业态吃透——夫妻老婆店、奶茶店、理发店、酒店、网吧,做出覆盖线下业态 80% 以上场景的模板,让店主自己动手做广告,把广告设计能力交还给店主。

17. AI 是篮球赛,不是足球赛:四节论

  • 他的分期框架:“AI 是一个篮球比赛,它有四节。第一节是大模型的比拼,会迅速收敛;第二节是 Agent——通用的、垂直的;第三节可能就是终端、流量入口、软硬一体;最后可能是另外一个阶段,我现在还没有想好是哪个。”现在处于第一节快结束、进入第二节的阶段。
  • 节奏判断:肯定快于互联网——大模型三个月一小迭代、半年一大迭代,Agent 层“肯定远远快过大模型的迭代”,终端层更快。软硬一体正是他对第三节的提前布局。

18. Sam 与 Dario:两种理想主义,没有对错

  • 对 OpenAI 分家史,他拒绝站队:“Dario 不是公司一号位,他不知道公司的经营情况;Sam 更多从战略、sustainable 的角度让公司两条腿走路。Dario 在研究团队里看到了技术突破点,认为单点就可以突破,那时候出来是合适的——回头看,没有对和错。”
  • 对“Dario 是真神、Sam 是伪神”的坊间说法,他的分辨:Dario 喜欢研究社会学和历史,是个人理想主义;Sam 是投资人出身、更现实,“长期来看可能这两个人都是对的”。

19. 在中国做 Sam:融资环境决定叙事方式

  • 关键的自我定位:“目前来说我更偏向于 Sam Altman。如果我今天在硅谷,我肯定会更 prefer Dario 这种做法,奔着一个执念去做。但我们今天在中国,融资体量没有美国那么大……中国的投资人需要你不断沿途下单、不断证明商业化能力。我如果说需要很长时间才能爆发,可能还没做到那一天我就死掉了。”直言:“说实话,在中国创业是比在硅谷创业难得多。”
  • 但对 Anthropic 收入“马上就要破万亿”的领先,他提醒别静止看:“人工智能领域不要看某一个时刻,要看前后左右的跨度。今天的第一不代表明天的第一。”主持人的总结他认可:商业模式对标 Anthropic,创始人画像学 Sam——“做一个足够长的叙事来吸引更多的资源,跑一个长跑”。

20. 认知是天花板:“一个人永远只能挣认知范围里的钱”

  • 对主持人关于 Anthropic 聚焦 coding 的问题,他归因于一号位的技术认知:“我最担心的一点就是认知的问题——超出认知范围之外,你基本上就不用看了。”
  • 他猜测 Sam 需要一个宏大叙事,其中要做 AGI,包含语言、图片、视频、3D 和 coding;Dario 的判断可能是 coding 有严谨的逻辑能力、能闭环,coding 做得好语言模型才能做得好,上面才能叠加更强的 Agent 能力。

21. 2017 年的 TGAN-C:一个“勇敢”的开端

  • 全球第一篇文生视频论文的名字他自嘲起得不好:T 是 temporal、GAN 是对抗网络、C 是 caption。当时的成果放今天看很寒碜:只能生成约 80 帧、48×48 像素的三四秒 GIF——“一个厨师在煲汤,汤糊到你都看不出它是什么汤”,模型只有几千万参数。
  • 但载体本身就是宣言:论文投的是 ACM Multimedia 的 “Brave New Ideas” session,“哪怕你没有实验结果,哪怕实验结果很差,也可能被接受——你质疑也好、不屑一顾也好,我们往这方面走了一步,从零到一”。

22. 视频生成四阶段:种子、萌芽、发展、爆发

  • 他的分期:种子期是 2017 年的 GAN 时代;萌芽期是 2022 年 Stable Diffusion 出现——“图片生成大有可为”,2023 年创立公司;发展期是 2024 年 Sora——“原来视频能做得这么稳定”,让早期尝鲜者和专业用户用上;爆发期是 2026 年 Seedance 出现之后——“跨越了第二个 gap,从专业用户到普通消费者、半专业用户也可以创作比较稳定的视频了”。
  • 更早的史前史:约 2011—2015 年叫 cross-modal,不叫多模态,做的是 video-to-language 的描述生成;2017 年反过来做才是真正的难题——“从高维信号到低维是多对一、容易做,从低维到高维没有标准答案,缺评估”。

23. 从 GAN 到 U-Net Diffusion 到 DiT:每次跨越的技术本质

  • 种子期的 GAN 是 CNN 骨架的左右互搏,两个网络一个生成、一个判真假;萌芽期的 Diffusion 换了物理学思路——把图像逐步加噪成白噪声、再用神经网络模拟每一步去噪,但骨架还是卷积网络。
  • DiT 的跃迁在于把 backbone 从卷积换成 Transformer:“它的 scale-up 能力更强,上下文处理能力更好,对整个视觉世界的模拟变得更好”——所以 Sora 出来时 OpenAI 说它是“对世界的一个模拟器”;Seedance 也基于 DiT,只是“数据做得更精细、规模更好、工程化做到极致”。

24. UiT 独创:去掉编解码器,“青梅竹马”式的原生融合

  • DiT 的问题:文字、图片、视频进来都要经过单独编码器压到隐空间才能做 cross-attention,“经过压缩就有损,重构解码时会带来幻觉,就不可控了”。UiT(Unified Transformer)的做法:“没有编码器也没有解码器——各种模态信号进来都是 token,直接在离散空间里做互操作,天花板更高,对像素级、token 级的控制做得更好,还能支持很多下游任务。”团队花了大半年才训出来。
  • 他给这个直觉起了个中式的名字:“有句话叫青梅竹马——你两个人两小无猜,长大之后才有更好的信任感和默契。所以我们想让信号在原生层面、不经过任何压缩和编码,进入一个原生全模态的 Transformer 架构。”注意分寸:这是框架创新(GPT、DiT、UiT 一个层级),“我们没有去颠覆 Transformer 这个 backbone”。

25. 为什么敢赌 UiT:隐空间的折损与像素级的执念

  • 技术直觉的展开:不同编码器抽象程度不齐——“文字抽象得高一点,图像低一点,它就对不齐”;要修一张人像的眼睛、鼻子“大概可以修,但修到像素级别就比较难,因为它是在隐空间里学的”。pixel-level 做法在学术界已有端倪、小规模有效,但“在学校里没办法 scale-up,不能验证真伪”,他们把 idea 拿到超大规模视频生成里做突破性尝试。
  • 诚实的风险陈述:“说实话当时我们也觉得这条路有点危险,因为 DiT 已经被验证了,沿着 DiT 堆数据、堆算力就有确定性结果——但巨头是这样走的,本质是资源堆叠。我们创业公司得走另外一条路:必要的算力、数据要有,但架构一定要创新,用十分之一的人力物力去逼近甚至超越它的效果。”架构创新是支点,“架构创新加效率、降成本”。

26. 开源是“掰开了揉碎了、血淋淋地躺在别人面前”

  • 对“大厂抄架构很快”的追问他毫不回避:“架构或算法上的创新只能让你保持大概六个月左右的优势。但我们一点都不担心,因为我们有持续创新的能力——你看我们把它开源了。”开源冲榜要求模型一一对应、架构真伪社区一眼可辨,“是不是只是堆砌数据、堆砌算力,community 里的人很快就知道”。
  • 开源的三重回报:branding 带来人才(“品牌最大的价值就是它带来人才”)、社区反馈迭代下一个模型、8B 再蒸馏后赋能端侧用户运行模型并拉动 token 消耗。战略层含义:“即使资源是我们的十倍、百倍,我们就用开源、用效率、用成本去顶住它,直到我自己从初创长成大厂。”

27. Artificial Analysis 榜的打擂机制与第一方阵哲学

  • 上榜过程像打擂:提交模型接口后与匿名模型逐名 PK,“从第十名开始,打过第十名就是第九名,直到打不动为止”,匿名与对战使它公平;但他主动纠偏:“榜单上的第一不一定代表产品力第一,产品第一也不一定代表商业化第一。”开源第一的意义是逼着闭源“好一个 level”,否则闭源就没有存在的价值。
  • 竞争姿态是马拉松式的:“中国公司首先要留在第一方阵里——哪怕偶尔第一、有时候第二、有时候第五,没关系。然后通过产品力在产品上超越他们,再通过商业化更领先一点。”

28. 中美 LLM 差距是真实的:“贫穷限制了你的想象”

  • 对“中国 LLM 始终在第二梯队前沿”的说法,他给出罕见的直白承认:“客观来说,大语言模型里国内模型跟海外还是有差距的,特别是闭源模型。”原因一是历史短,二是算力:他举例 xAI 有 20 万张卡;中国几乎没有公司超过 10 万张卡,大厂训练可能也就是几万张卡,而 OpenAI、Anthropic 可能是几十万张甚至一百万张。
  • 那个刺痛的比喻原样保留:“算力上的差别有点像贫穷限制了你的想象——本来你可以上到高中去考大学,现在我只能上到初中,因为我没有那么多钱。”

29. 但多模态是另一回事:军备竞赛还没开始

  • 多模态领域中国公司表现很好:可灵、Seedance 都做得好,“这块对算力的要求没有那么高,数据方面中国公司还更有优势——全球最好的视频平台基本都在中国”。更关键的是架构未收敛:“意味着大家都可以在一定量的算力限制下做架构创新;如果架构定下来了,所有人沿一条路堆算力,就比不过大厂了。”
  • 阶段定位与量级:“做视频模型几万张卡、几千张卡都可以做,没有大到需要一百万张卡。今天的多模态还不走军备竞赛,我觉得还在 GPT-2、GPT-3 的阶段,还没有到 GPT-4、GPT-5——上升期还有很多机会。”

30. 短视频数据之辩:训练的基本单元是五到十五秒

  • 对北大学者“短视频利于视频模型训练”的说法他做了技术性澄清:基本上所有模型公司用得最多的就是网上 15 秒、30 秒的短视频,且训练时要把长视频切短——“训练的基本单元就是五秒、十秒、十五秒,再往三十秒、一分钟延伸,训练算力不够了,因为要支撑更长的上下文”。
  • 现状的坦率评估:Seedance 之后叙事感更强、“知道怎么分镜、怎么在镜头内切换”、“看上去符合物理规律”、抽卡成功率更高——但“今天最好的视频模型也不能解决客户所有的要求,还是要抽卡”。2023 年图片都要抽四次,后来他们一次出两张,“因为抽卡概率提高了”。

31. 2017 年为什么没抓住 Transformer:“隔行如隔山”

  • 诚实的错过:“我们留意到了呀,当时觉得隔行如隔山,那是自然语言处理领域的东西,还没有把它拉通。”他总结的行业传导规律在微软“一而再再而三地复现”:machine learning 出好模型,第一波用的是 NLP,然后到图像、再到视频——“文字永远走在图像前面,因为文字是一维信号、很容易小规模实验证明它到底行不行”。

32. GPT-3 时期的大小模型之辩:落地的是小模型

  • GPT-3 之后讨论 scaling law 时他在京东,与陶大成一起提“大模型加小模型”:实验室里训大模型刷榜没问题,但常州工厂的工业质检要 90% 以上准确率,“你会发现大模型不行,它没有那么好的通用性;在大模型上训练出来的小模型,容错率、精确率反而比大模型高”——最后落地的是小模型,“大模型只是藏在后面的专家模型”。

33. 多模态为什么没有 scaling law:视觉 token 至今无法定义

  • 核心论证链完整保留:语言的每个字符“经过几千年沉淀,都有特定语义,是高度提炼的知识,本身就是结构化的”,英文两万单词、连接可数;而“视觉信号到现在为止都没有一个 define 的概念,说什么叫 visual token”。近似计算:一张图约十万 token,一段 15 秒视频约一百万 token。
  • 他压箱底的实验证据:2010 年前后做 visual vocabulary(图像词典,靠 patch 聚类成“单词”,他凭此拿过两篇最佳论文),发现“纯图片的单词要做到一百二十万以上的量级才能达到好的结果”——对比英文常用五六千词,视频还要再乘一百倍。“如果完全用文字的方式做离散 token,你需要的数据比文字大得多得多,算力是它的十倍到一百倍,不可能做得出来。”
  • 还有一个反向对比很妙:“大语言模型那边说 2027、2028 年通用数据就用完了;多模态领域可能我们消耗数据的速度还赶不上数据产生的速度——机器训练的消耗率赶不上人类每天产生的新视觉数据。”

34. 像素没有统计意义,patch 才是勉强的词元

  • 他从第一性原理拆解为什么像素级建词表不成立:RGB 三通道每通道 0—255,“256 的三次方甚至四次方,这个词表你算算是什么数量级”,且“像素跟像素之间的关联比较弱,有时候是随机的”。所以词元以 patch 为单位(图片 3×3、5×5、7×7,视频加时间维是 cube),“即使这样定义,也不是一个完全被认可的定义方式”。
  • 对 DeepMind 科学家“多模态落后语言两年”的判断,他的 hedge 原样保留:“scaling law 一定会出现的,但是不是两年我现在不太好判断——现在很多 AI 领域的事情后来都会证明它是错的。”

35. 视频模型不产生智能,它负责复刻——直到全模态到来

  • 一个重要的自我设限:“我不认为在纯视觉领域它是一种智能。视觉模型或者 DiT 并不负责产生智能,我们做的是 replication,复刻——把看到的世界完全复刻出来,也可以组合成新的事物。但里面有没有像大语言模型那样隐藏了世界知识的智能?我认为是很难的。”
  • 转机在全模态:“一旦产生了全模态,它就会把语言的知识放进来——通过视觉信号加上语言文字对物理规律的描述,可能就会产生新的智能。什么时候出现我现在还不太敢判断,但我觉得可能也不会特别久。”

36. 自监督 vs 强监督:CV 的宿命是 pair 训练

  • 他认同谢赛宁“LLM 自监督、CV 强监督”的判断,并给出机制:GPT 做 next-token prediction,“有正确答案”;视频生成必须拿 pair 训练——“一张图配一个越精确越好的文字描述,一段十五秒视频配一个很长很长的描述”,所以视觉需要的人工更多,算力也可能更多,具身更甚(要记录关节 xyz、六七个自由度、力控信息)。
  • 但“有多少人工就有多少智能”只是阶段性回魂:“人工标注只是为了做零到一的突破。多模态其实做两件事——生成和理解。一旦理解和生成统一,它既能标注也能生成,就不需要那么多标注了,训练出初步模型后它自己在那不断地标、标完自己学。”

37. 世界模型不是一个模型:三条路线的地图

  • 先纠正流行误解:“很多人有一种误解,觉得世界模型是一个模型,整个世界只会有一个模型——其实不对的。”三条路径:杨立昆的 JEPA 预测世界状态、理解人与世界的交互,“背后逻辑是想做具身智能的模型”;李飞飞偏三维重建(高斯泼溅、依赖游戏等 3D 数据),“人跟世界的交互是比较少的”;第三条是他们视频生成这波人——“相信从真实的视频里可能学到更多物理规律、更通用的智能,数据驱动的 belief”。
  • LLM 单独通向世界模型“已经被普遍认为不太可能了,它没有交互,它更像一个大脑”;三条路怎么 converge:“说实话还没有定论。从终局看肯定是要交汇的,但还没有看到这样的架构。”

38. 视频模型必须是世界模型的底座:体量与数据的双重论证

  • 最尖锐的论据是模型体量:“现在所谓的世界模型,包括具身智能的模型,体量大概只有几十 B 或者一两百 B。如果你希望产生比较通用能力的具身模型,它怎么可能这么小?”而视频模型已做到一两百 B、两三百 B 都有可能,且吃的是第一人称加第三人称的通用视频,“你只有见过这么多的视频,通用性足够好的情况下,才能做更多的泛化”。
  • 数据侧的量级碾压:“像智象这样的公司,我们一年的数据都是一百 PB,很恐怖的。”反观真机数据“可能也就是百万小时,有可能还不一定有”,仿真数据也不会多——“没有一个基础扎实的视频模型,在上面做通用性好的具身,我觉得是比较难的”。

39. 对 bitter lesson 的正读:不是不要人,是要 elegant

  • 他纠正主持人对 Sutton 的理解:“他说的不是不要人工干预,是算法足够简单和 elegant,通过数据和算力就能 scale-up。人工参与是要把算法设计好、初始时给它喂好的数据——就好比教一个 baby,一开始肯定要给他干净的、标注好的数据,最后他才能在正确的路径上自己学习。”
  • DiT、UiT 就是他心中 elegant 的架构:“越复杂的东西越难 scale-up……如果人工加载了太多 trick,层层下来是层层衰减的,会带来更大的误差。”

40. 多模态 vs 全模态:any-to-any 才叫原生

  • 定义之辨:“多模态是一加一——有一个额外模态就叫多模态。全模态是把所有模态放在一起训练,而且是原生的——不做任何编码就能训练。”原生的判据是 any-to-any:“信号原始地进来、也可以原始地出来,任意选输入点和输出点。一个模型能解决很多任务,一个模型就能吃掉所有的应用。”
  • Gemini Omni 的发布在他看来“佐证了我们的判断”——但他也拆穿了它的成色(见下文第 44 节):集成不等于原生统一。

41. 与字节的差异化:不接底层能力的正面战

  • 目标清单具体到榜位:图片模型“闭源希望做到全球前三,开源做到全球第一”,与 Google 的 Imagen 和 GPT“一米九二”相提并论、抗衡;视频在短视频营销(人货场)、短剧生成里做行业头部。
  • 对“更怕可灵还是字节”的问题他直接拆掉:“如果因为有大厂竞争你就不做,那就不用创业了。任何一个时代、任何一个领域都有大厂在……今天的大厂在以前它也是小厂呀。”打法是三条曲线:“公司发展曲线、AI 行业曲线、个人认知曲线——我们的认知一定要比行业的曲线陡。我们效率高、成本低、掉头快。”

42. 时间资源才是大厂之战的最大变量

  • 主持人的观察被他接住并加码:训练有周期,大厂“因为架构的原因、层次的原因、各种利益的原因,做决策的不是一线的炮火,可能会做出不符合技术发展规律的判断”,在错的路上要走到模型发布、结果很差时最上层才发现。“时间成本包含了你做对事情的成本和做错事情的成本。一级市场投资人挣的是认知的钱,我们挣的也是认知的钱——对技术判断要足够敏捷,行动也要足够敏捷。”

43. 为什么 2023 年才创业:两次忍住与五年学徒

  • 创业动机朴素到直白:“我曾经在一家现在万亿美金的公司做过技术,又在一家千亿美金的公司做过高管,下一站就是想自己创立一家千亿美金的公司。”2015—16 年很多人劝他出来,他判断 timing 不对:小冰“对话大概七八轮就飞了”,AI 四小龙聚焦人脸识别“有点窄”,且从 MSR researcher 直接去做商业化“有个 gap”。
  • 于是去京东待五年补课:“学公司战略、管理、怎么做产品、怎么见客户。”2023 年条件与心智都成熟了——但他也留了一句诚实的 hindsight:“如果我们再早半年出来,可能又不一样了。但是没有回头路,只能继续往前走。”

44. 理解与生成至今是两条架构,Omni 也只是集成

  • 技术地图讲得很清楚:理解那条线(GPT-4V、后来 GPT-4o)已与 LLM 的自回归架构统一——文到文、图到文、视频到文;生成这条线是 Diffusion Transformer。为什么不能合?“理解的架构处理离散 token,不能把离散变连续;用自回归方式生成图片、视频,质量细节赶不上 diffusion。”Sora 的第二重意义正在于此:“Sora 是 Sora,GPT 是 GPT——生成和理解其实还没有统一,包括到今天。”
  • 对 Gemini Omni 的判断毫不客气:“Omni 实际上是一个集成——很显然是把 Veo 3 集成在 Omni 这个大的模型 hub 里面去了。要把视频、图像放在一个模型里,现在还是有点难的。”UiT 想解决这个问题,“但现在还没有完全解决,目前更关注用 UiT 做生成”。

45. 看谷歌 I/O 看什么:Agent 的理念与自有测试集

  • 基模公司的下一步竞争两个点:榜单上的智能边界,和 Agent 能力——“它是做一个更聪明的架构,还是只是用行业 know-how 做了一个固定的编排?行内的人要看原因,你只有看到本质了,才知道自己的能力应该往哪个方向走。”
  • 没有技术报告怎么判断对手有没有底层创新?“每家公司都有自己特定的测试集。参加高考这种公开考试测不出模型的边界——边界能力没突破、只是榜上提名,不代表它有底层的突破。”

46. 人才观:“怎么不是我”的羞辱感与 T 字型建议

  • 他招的人共享一种技术使命感:“看到一篇很新很好的论文不是自己做的,第一感觉就是怎么不是我——很羞辱,真的是这样。会反问自己是氛围不对、能力不够、组织形式不好,还是给的自由度不够。”技术人最在意的“不是官衔、level、现金,而是在行业里能不能确定自己的江湖地位,有没有拿得出手的作品,跟艺术家是一样的”。
  • 自己成长期得到的两条建议影响至深:先把 T 字那一竖“做到最深、做到你做不动为止”再发展横向的组织力、战略力;以及未来在中国——中国发展快、势能强,中国人在中国人的环境里更容易取得成功。

47. 承认过的失败:货架电商与打印店

  • 对“没有失败的成功不可信”的追问,他交出两个案例:一是初期做货架电商,“还留在京东的思维里”,朋友情面充了几百万但“没有消耗 token,我们后来把它退出去了”——摸索一年多才转向 TikTok 式内容电商,那边对图片、视频需求量巨大;二是想借某投资人覆盖全国约六成线下门店的网络做打印店升级,后来发现打印店是夕阳产业、认知迭代速度也慢。
  • 复盘的元教训:“拿着锤子找钉子是必然经历的过程,你没有经历过就不会突破自己的认知。创业没有标准答案,你是在迷雾中寻找航行的方向,还有很多人给你制造噪音——那些人往往自己都没做过。”公司叙事从 day one 未变:模型和应用双轮驱动。

48. 2023 年的冷与“寻找中国 Sora”的热:共识文化观察

  • 2023 年融资“能融到钱,但不算特别顺利”:一线机构全押大语言模型,“你跟投资人讲视频,他跟你讲图片;你跟他讲模型,他跟你讲商业化——始终不在一个频道里”。2024 年 Sora 出来才有第二轮投资人回头。
  • 对市场情绪的判词:“中国的投资就是只投共识,跟风扎堆,人多安全感好一点,反正翻了大家一起翻。”应对是底线加上限思维:“如果大厂把所有模型能力都吃掉,我们这家公司怎么生存?做战略一定要做到上限和下限。如果你相信你的模型一直待在第一,我认为你是一个幻觉——所以今天大厂反而比创业公司更焦虑。”
  • 关于“融资 PPT 前五页是在戴若黎办公室写的”的说法,梅涛没有完全照单全收,但确认当时在若黎办公室聊过两次,借此理解如何讲创业叙事:“创业一个是 narrative,但我觉得应该叫 grounding——既能顶天立地讲叙事,也要做好底层建设。”

49. 为什么当年放弃具身选 AIGC:京东机械臂的算账课

  • 创业时有两个储备项目,机器人被否是因为京东物流里两台机械臂的教训,三道坎完整保留:不能切断现有工作流;机器人要 7×24 稳态运营;ROI 必须在十二个月内算清——“你要跟他算十八个月的,他根本不跟你谈”,而算账“必须建立在大规模部署上:一台机械臂替一个人不可能算得了账,因为还得放一个人看着机器人;一个人看十台,才可能把账算清楚”。
  • 对今天的通用具身叙事他依然保留:“哪家公司的机器人能在工厂里 7×24 不间断干活?Figure AI 只是在分拣,并没有把包裹拿出来放进某个框里,离真正的业务场景还很远——但已经算是很了不起了。”转向 AIGC 的触发点:太空歌剧院那张 Midjourney 获奖照片“有人文的情怀在里面”,加上 Midjourney 十一个人年入两亿美元、Canva 估值超四百亿美元——“既能做通用模型底座,又能沿途下单”。

50. Midjourney 的天花板与 Seedance 2.0 的冲击

  • 对 Midjourney 的诊断:靠数据能力和审美服务“金字塔塔尖的艺术家、设计师”,但没有大模型优势,“中间层的广告、海报、真人照片都被 GPT 等大模型公司吃掉了,只能逼着它越来越专”。
  • Seedance 2.0(春节亮相)的心情他分了两层:“一个是觉得意外,原来以为美国同行会走得比较靠前……后来又觉得没有那么惊讶,字节人才密度高、数据规模大,数据质量和规模是碾压性的优势,大力出奇迹。”但对自己“有冲击,也还好”:Sora 烧了 55 亿美元,Seedance“肯定是百亿人民币”级投入,朋友善意提醒“不要躺在大厂的车辙上”——“对创业公司来说,我只有一梭子弹,打完这一梭就没了。坐在他的车辙上就是炮灰。坚持模型算法的原始创新,用比较低的成本去抗衡,同时赢得时间。”

51. 商业化两大引擎:短剧的百亿与跨境电商的分佣

  • 量级摆出来:AI 短剧“一年下来光制作成本我们觉得接近 100 亿”人民币(还不算发行收入),token 消耗大;他们的定位是给“铲子”——产品叫“真赞”(“每一帧都很赞”),面向专业团队做精品短剧,大机构自研工作流则用 MaaS 卖 API。
  • 广告营销更长线:TikTok 上有 100 多万商家,“普通商家一个月需要大几千条短视频广告,头部客户一年几十万条、甚至几百万条或上千万条”。这条赛道的妙处是双重变现:“一方面可以卖铲子,另一方面可以卖结果,通过结果来分佣——这个模式我们已经走通了。”

52. 多模态的钱景:表现力涌现先于智能涌现

  • 判断多模态不会一家独大:“肯定是有好几家公司,有的在影视效果好,有的在人货场零售,有的在广告、动画——不太会出现一个公司什么都好。”成熟度坦率打分:“大语言做到 GPT-5、GPT-5.5 了,多模态撑死了就是一个 3 或者 3.5,没有出现智能涌现——但不妨碍它离商业化很近。”
  • 数据支撑:2024 年全球 AIGC 收入约 200 亿美元,“百分之六十左右是多模态”;智象平台每月消耗约 3 万亿 token,“图像视频的 token 密集程度很大,而且用户愿意买单——不像大语言模型一百万 token 可能就一美元”。现状定位:“现在是可用、能用,到好用还有一点点距离。”

53. Harness 与 token 经济的三层价值链

  • 他对 harness 的定义:“Agent 底层的 OS,一种智能化的编排,把 API、skills、模型基本能力和行业 know-how 结合在一起”——比去年的 model orchestration 升级在于安全围栏与成本控制:“OpenClaw 出来之后没有这一层,账单就爆了。”skills 会沉淀成可共享、可售卖的商品。
  • 价值链三层论清晰可交易:底层算力(GPU、裸金属、AIDC)、中间 token(“越来越薄,成为 commodity,就跟今天的水电一样”)、上层 Agent 创造的客户价值。“卖 token 是大厂的生意——阿里云、Google、OpenAI、Anthropic 就在里面卖水电。创业公司要把客户价值这一层做到足够大,拿到佣金,做价值共创。”

54. 算力真相:训练千卡近万卡,推理才是吞金兽

  • 多模态训练“接近万卡了,但还在千卡级别”,仍是创业公司玩得起的游戏;但结构会反转:“训练成本低一点,但将来推理的卡需求很大”——现在生成五分钟视频推理成本“可能也得一两百块钱”,好消息是等多模态走到那一阶段,可能已有更好用的推理卡。
  • 供给侧的焦虑真实存在:“最近几个月全世界 GPU 产能都不够,OpenAI 也说有多少卡买多少卡、需要一百倍的卡。国内算力储备如果一直是美国的十分之一,怎么跟得上?国产算力性价比和性能还有差距,这两年是比较难的——怎么样聪明地熬过去,也是一个问题。”

55. 船票、死亡潮与应用层变薄

  • 船票的定义没有含糊:“只要是做大模型的公司都有船票,船票的本质就是你能不能做出一个好的自研模型,而且是在榜单上——否则你就真的是 nobody 了。”多模创业公司在 2024—2025 年可能出现的死亡潮:没有声量、模型能力没出来投资人不投;商业化只能做几百万、做不了几个亿的也可能死掉。“留下来的,是有基本模型能力并且能商业化的公司”——含他们在内约三家。
  • 模型变强则中间层变薄的共识他照单全收:“Claude Code 出来之后,美国 SaaS 化的人力公司价值跌得很低,SaaS 公司都在瑟瑟发抖。那我们是只做应用层,还是模型层也切一点?对我来说肯定要切模型层,在应用层做商业化的壁垒。”智象的健康度自评:To C 约占三分之一、海外收入约三分之一,“去年都一个亿了,今年肯定是大几个亿的收入”。

56. 二级市场分化:MiniMax 与智谱的对标逻辑

  • 对首批上市基模公司的分化,他给两个解释:一是基模能力的暂时差别(“再过几个月排名又不太一样了”),二是对标逻辑——“智谱有比较好的 coding agent,它对标了 Anthropic;二级市场有时候是一个很强的对标逻辑。”美国公司的估值和市值按汇率换算后应对应中国公司的估值,但现在还没到,所以还有空间。
  • To B/To C 在二级已无区分度,真正的分界是模式:“要不要做模型私有化——那不是一个特别好的生意,我们从来不做私有化、不做定制化开发。海外推 SaaS 化工具,国内推技术加服务:交付素材、以及素材带来的 GMV 的分佣。”
  • 拿国资是 2023 年的被动选择——“美元基金不敢投中国 AI 公司,不是我们不想拿”;他还提到深创投投资智象,且看好多模态赛道和 To B、To C 的组合。

57. 具身数据生意:与诺亦腾的闭环设计

  • 生意的由来是具身缺高质量数据(需求“千万级到亿级小时,很恐怖”):诺亦腾提供毫米、亚毫米级、六七个自由度的真人遥操作实采数据,智象做增广——“他给我一份数据,我们变成一百份、一万份,换背景、换手的肤色,把带夹爪、带手套的数据变成真人第一人称实操数据,精度保持在同一水平线”。
  • 定价必须闭环:“我们还要验证它对市面上的 VLA 或 World Action Model 有没有好处,否则我怎么定价?”他刻意不下场做端到端具身模型:“数据不是我的,我没有版权拿它商业化。我只做一个轻量级模型把 delta 算出来就行——我是要做一个隐士高手。”戴若黎的那句劝说他认了:“师兄你有这么大规模的数据和模型参数量,做他们的东西是用大刀去砸一个小蚊子。”但他也留了转型伏笔:“数据量真的到很多的时候,我也会考虑是不是要转型,这些 know-how 反过来可以帮我调自己的 World Action Model。”对具身热钱的判断则冷静:“有些公司一个月过去什么都没有发生,估值就涨了三倍、好几倍——稍微有一点点泡沫了。”

58. 三指抓与五指抓:为什么 Seedance 训不了机器人

  • 主持人旧问重提:符合物理规律的视频生成能否用于具身训练?答案依旧是不行:“它里面没有物理规律,它只是看上去符合物理规律。”第一版合成数据的教训具体而微:手指精度不够、与物体交互有偏差,“我们合成的视频一定是五指并拢去抓,但采的数据里人是三个手指抓的——这两个手指头没有抓东西,它到底是错还是对?没有答案。”
  • 具身可用的门槛被量化:“要验证在三维点云上、x、y、z、t 四维上是不是毫米精度,自由度是不是满足客户要求——Seedance 目前还做不到这一点,精度很重要。”顺带一句行业黑箱:“真正训练大模型的公司底牌都不给别人看——你问他们参数量是多少,很多公司都不敢告诉你,可能只有几十 B 或几 B。”

59. 未来架构预告:一个底座、三个视频模型、一个开关

  • 他罕见地剧透了 roadmap:“底层是一个新的架构,现在还不能说,是在 UiT 上做衍生的——上面有几个视频模型:一个做消费级视频生成,一个做交互式生成(有点像李飞飞那种,可以在视频里调角度、方向、运镜),一个做具身智能的高精度、高可控生成。它是一个开关,可以往左、往中、往右偏。”
  • 配套的产品目标三个维度:质量与第一梯队同水平(像素级、物理性、逻辑推理);时长从五到十五秒推进到分钟级(一分钟、三分钟已可做)再到成片;以及实时——“Sora 生成十五秒要等十几分钟,我们现在也要几分钟,用户不一定等。哪怕是一个 preview,让他实时交互。”

60. AGI 版世界模型可能在五到十年后:算力要再乘十到一百

  • 对大一统世界模型的时间表他给了明确的量纲:“把具身的 x、y、z、t、六个自由度、触觉、温度、视频、图片、语言都放在一个模型里训练,需要的算力可能是今天的十倍到一百倍——一个是没有人有这么多数据,另外没有人有这样的架构,第三我们也没有这么多算力。那个模型有可能在五年以后,或者十年以后。”
  • 两大领域的分工论是他的底层信念:“大语言模型是人类知识积累的体现,长上下文和长思考出现后开始有一点点智能的感觉了,天花板还没到;多模态不是为大脑服务的、不是为了产生智能,是为了让人和世界交互、模拟世界的物理状态。目前很难放在一起训练——一个自监督,一个强监督。”人才也仍泾渭分明:OpenAI 里 Sora 团队与 ChatGPT 团队独立,Google 的 Veo 3 团队也独立,“上层有 domain knowledge,中间层 infra 是相通的”。

61. 合肥双子星与组织的自驱文化

  • 主持人称智象总部在中科大隔壁,并将其与科大讯飞称为“合肥双子星”,同时提到科大讯飞是股东;梅涛回应双方有很多业务协同。合肥产投投资过长鑫存储、京东方,也希望复制这一模式把智象未来投出来,“我们跟合肥是双向奔赴”。
  • 师兄刘庆峰的忠告只有一句:“迅速地把企业做大——AI 的 timing 很重要,错过了时机你就不能留在牌桌上了。”
  • 管理上的一次认错值得记录:“我们以前会做年度规划,后来发现这是一个非常扯淡的事情——AI 初创企业很难做年度规划,很快调整到按季度,OKR 让产品团队、技术团队自己提。”他对创始人角色的画像:“公司是个木桶,不能有特别短的短板;人可以只把长板做到最长。作为一号位你很孤独,我唯一焦虑的就是我的认知够不够、团队的人齐不齐整——我周末都在面试别人。”招人先劝退:“创业九死一生,我不是 baby-sitter,你必须得自己想清楚。”

62. 中国做零到一创新的难点:教育与培养机制的灵魂拷问

  • 他没有回避:“目前来说在中国做零到一的创新是有点难的。我们的教育喜欢教确定性的答案,学生习惯 follow 老师的安排,做一段时间没有结果就焦虑。”他以自己观察到的美国 PhD 培养为例——“一篇论文改十几遍,讨论每一个技术细节,让你毕业后沉淀自己研究的思路框架”;他认为国内老师带的学生太多,学生又离工业界太远,研究方法不容易沉淀。
  • 应对是把微软的实习生制度搬进公司:大量博士生每天读 arXiv、每年在顶会发二三十篇论文、被派去开会,“你没有这样的触觉,就可能 miss 掉这一代,认知上错过好几个月”。UiT 正是这样来的:“学术界已有 pixel-level 的端倪、效果还可以,只是在学校没办法 scale-up——我们把思想拿过来,在超大规模上做自己的底层创新。”招人标准也别致:“我们招计算机学院的 Top One,不是 GPA 最高,而是全班同学都认为他是 Top One——通过同行评价来判定。”研发平均年龄约三十岁。

63. 命名、全球化与审美的在地化

  • HiDream 与“智象”的由来:HiDream 两个音节、开口音,经过 native speaker 调研选出;“智”是人工智能,“象”既是想象力也是模态——“一生二、二生三、三生万物”。他对全球化与出海做了少见的区分:“全球化是我的客户在全球各地,通过平台服务他们(如 VivaGo、Hike Leap);出海是帮助中国企业去做全球化的业务,客户还在国内。”
  • 审美的在地化只做在产品层、不做在模型层:“模型层面只会是通用化的——训练数据包含了那个国家的数据,模型就有这个能力了。产品层做差异化:巴西用户看到的首页跟美国不一样,特效模板、UX 不同。你很难统一所有的价值观和审美。”

64. AI 信仰与商业化的铁律

  • 信仰他不爱讲但确实有:“超级人工智能一定会实现的——通用人工智能很难定义它,但我觉得超级人工智能已经在实现了。”个人姿态是清零式的:“我在学术那个层面已经攀过一个高山了,现在是从山上下来,重新去攀登另外一个高山。我愿意把身份清零,不需要额外的声望和财富。”
  • 京东学来的铁律与之并行不悖:“跟刘强东刘总学到很多——公司一定要创造价值。再困难,技术一定要攻坚,商业化一定不能放弃,必须闭环:如果有一天没有人投资了,你必须要自己造血。仅仅通过情怀、通过一个 AI 的信念让别人相信你,在中国这个环境下是有点难的。”

65. 终极好奇:“机器一定比人更懂这个世界”

  • 几十年 CV 研究的牵引力,他给了一个具体的画面:“有的时候晚上开车,下雨天大雾天,你会依赖辅助驾驶——它的眼睛比你多,你只能看到五米、十米,它能看到三十米。所以我相信机器一定会看得更深远、比人更懂。我希望机器帮助人类看懂这个世界,再帮我们创造一个更好的世界。”
  • 收束回李飞飞与杨立昆之问,他的表述是:“我希望能够从世界中学习,把世界进行重构,进而超越现有的世界——不是叫创造世界,而是 mold 这个世界,构建并且改造,能够修改、能够编辑这个世界,按照我们的想象去编辑这个世界。”对“盲人也能理解世界、视频不是最本质”的挑战,他的回应是:“那是 corner case,现在讨论没有意义——还是要看最多的数据在哪里,目前数据量最大的一定是在视频里。”

66. 尾声:《创业维艰》、村上春树与《Her》

  • 两本书一冷一热:《创业维艰》是“操作手册”——“即使在硅谷这么好的条件下,创业也是很艰难的”;《1Q84》则是他对 AI 的一面镜子:“村上春树两页纸只讲一个人的心理变化,细致入微——这是 AI 现在做不到的一点,目前来说很难超越他。”
  • 最后一个细节意外地贴题:科大约三年放映员生涯每周审十多部片、放六场,“我没有完整看过一部,哪怕是 Titanic”——“我每时每刻只能做一件事情,而且是百分之一百二的投入”。而 2014 年的《Her》让他看到了雏形:“Her 发生的事情不就是今天大语言模型在发生的事情嘛——只不过还没有跟多模态产生共鸣、能够桥接。AI 成长的速度,未来可能赶得上科幻小说家的想象水平了。”