先锋 趋势 方法 投研 作者
139: ICCV最佳论文、光年之外、Sand.ai:曹越十年AI之旅,从研究者到CEO
返回节目精读

139: ICCV最佳论文、光年之外、Sand.ai:曹越十年AI之旅,从研究者到CEO

摘要

  • 曹越把 OpenAI 的方法论概括为:设计一个 scalable system,“最大化地压榨算力”,而不是围绕论文 novelty 堆 trick。 这要求组织从小型作者团队变成数据、训练、infra、评测、产品共同协作的系统;Swin Transformer 的经历也让他确认,发现机会只是前半程,“有能力嗅到这个机会”和“有组织能力真的抓住”缺一不可。

  • 他转述王慧文用“三个字”解释中国过去缺少 OpenAI 式组织:“不够富”。 追赶阶段的最高 ROI 是效率创新、模式创新和 copy to China;接近前沿后,方向反而变模糊,资本、创业者和社会对失败的容忍度都要为原创探索重新调整。曹越认为从 2023 到 2025 年,DeepSeek、宇树、《黑神话:悟空》《哪吒》等事件已经显露这种转型。

  • Sand.ai 用 Magi-1 交了一次技术优先的学费:三四十人的早期团队押注缺乏 reference 的自回归视频路线,约十三四个月后才发布。 模型在技术圈、ICLR 期间的线下讨论和 GitHub stars 上获得反馈,也带来几十万注册用户,却没有形成明确商业数字;曹越的复盘是,创业公司必须先跑通 PMF 和第一曲线,“过于强调技术驱动,有可能很难做到技术和需求的 fit”。

  • Sand.ai 新一代模型的核心判断,不是再造一种新结构,而是先解决视频里最刚性的缺口:人物说话与表演。 现有模型擅长空镜、转场等 B-roll,却难以承担人物占比很高的 A-roll;后置 lip sync 让角色跨不过恐怖谷,短剧客户最常见的反馈就是“人物太假,演员没有表演”。因此 Sand.ai 聚焦音画同出的人物说话和表演,并把人物形象、音色等一致性视为重要能力问题。

  • Sora 2 让曹越完成了一次关键认知更新:十秒内的叙事和分镜未必需要 agent 流水线,也可以由模型端到端直出。 音画同出先把 silent clip 从半成品变成可直接消费的内容,Cameo 再把形象、音色和熟人关系嵌入产品,叙事能力则提高传播性;真正令他惊讶的不是某个孤立 feature,而是产品需求能够反馈给模型团队的垂直整合机制。

  • AI 视频的近期商业机会仍更像生产力工具,真正的消费平台机会尚未被证明。 实拍短剧早期一部约 60—100 分钟、成本约 10 万元,2023 年前后曾卷到约 30—40 万元;AI 制作约每分钟 2,000—5,000 元、整部可能在 20 万元左右,却暂时无法在质量上 compete。Sora App 当前仍要依赖朋友圈、小红书、抖音等既有渠道分发,曹越判断平台成立至少需要新内容形态或新传播链路,最值得看的指标是留存,而不是上线初期的热度。

  • 低分辨率、速度和成本可能比模型榜单更决定消费产品能否起量。 访谈中提到,面向 C 端时 360p 可能已经够用,Sora 生成一条视频仍需约 1—3 分钟,免费额度也从每天 100 条降至 30 条;曹越认为,如果能缩到十秒,使用体验会完全不同。音画同出还改变了质量取舍:画面从 1080p 降到 360p,声音质量并不会同步下降,沉浸感因此比纯画面模型更耐压缩。

  • 曹越现在把最难、也最有投资含义的变量归结为 timing 与组织准备度。 AI 视频从工具走向 C 端的大方向相对容易判断,真正非共识的是“什么时间点、什么机会会出现”;即使看对机会,组织没有提前形成模型、产品、运营共同决策的能力,也抓不住窗口。“机会出现了,但组织没有能力抓住”,本身就是节奏判断失败。

精读

1. 2014 年押注深度学习,是曹越第一次跟着微弱信号逆共识

  • 曹越最先想到的 AI 时刻,是 2014 年本科大四决定做机器学习、继而赶上深度学习。当时国内仍有资深教授在主页写“我不做超过两层的神经网络”,他的 mentor 去 Berkeley 访问,却发现硅谷已经都在谈深度学习。

  • 所在研究组成为国内较早购买 GPU、开始训练深层网络的一批团队,虽然当时“卡很少”。2017—2018 年,曹越先实习、后加入 MSRA 视觉组,延续计算机视觉、多模态和预训练研究;这个组此前孕育过 ResNet,给他的影响不只在技术,也在选题和组织。

2. 最值得做的题,必须同时最重要且尚未收敛

  • 曹越从 MSRA 学到的第一条原则,是“做最受关注的 topic”;但受关注本身不够,它最好还是领域里最重要、且明确存在巨大前进空间的问题。

  • 曼琪指出其中的矛盾:一个方向已经很火,往往也意味着机会后置。曹越的回答是,判断依赖长期浸泡形成的直觉——外部看来只是“非常微妙的基础信号”,在真正理解行业的人那里可能已经是“非常剧烈的信号”。

  • 这套判断并非简单追热点:研究者既要辨认结构性机会,也要判断它是否已经收敛。后来无论 Swin Transformer、加入智源,还是选择 AI 视频,曹越都沿用了“高关注度、高天花板、仍处早期”的筛选逻辑。

3. Transformer 进入视觉领域,先补卷积缺陷,再替换整个骨架

  • Transformer 2017 年出现后,视觉领域的第一阶段探索仍以卷积网络为中心:研究者把 Attention Block 嵌入 CNN,用较低成本扩大局部卷积受限的感受野。

  • 曹越所在团队在 2018—2019 年也尝试让 attention 直接替代卷积,但宏观结构仍 follow ResNet;换掉的是局部算子,不是计算机视觉多年形成的网络范式。

  • 2020 年 6 月的 ImageGPT 采取更“暴力”的路径,直接在像素上做 self-attention,计算效率很低、效果也不突出。曹越以“如果没记错”的口吻回忆,许多人看过论文,却没有真正理解 OpenAI 为什么要这样做。

  • 2020 年 10 月的 ViT 把像素改成约 16×16 的 patch,并在 ImageNet 分类上得到不错结果。对曹越而言,技术上的核心改动是把像素变成 patch;更重要的认知意义是,它证明视觉研究“不应该再拘泥于之前卷积神经网络迭代出来的结构”。

4. Swin Transformer 瞄准的不是分类冠军,而是替代整套视觉基础结构

  • ViT 已证明 Transformer 可以做图像分类,曹越团队进一步追问:能否设计一个适配大多数视觉任务的宏观结构,让它同时覆盖分类、目标检测、语义分割等细粒度任务?

  • 这不是单点指标优化,而是替换表征学习的基础单元。如果新的 backbone 在各类任务上都足够好,它就可能取代以 ResNet 为代表的一整套卷积网络结构。

  • 曹越当时明确感到这是“大机会”:网络结构是深度学习最受关注的 topic,又是能影响所有视觉任务的底层单元;ViT 已经打开思想缺口,团队也恰好熟悉分类、检测、预训练和 Transformer。

5. Swin 的胜负不只在 idea,而在把整个组织压上去

  • 同期并非只有曹越团队看到机会。真正拉开差异的是,他们判断机会足够大后,把组内能参与的人都拉进来,在任务覆盖、指标和完成度等维度“做到极致”,让最终成果呈现出不同量级的质量。

  • 这段经历让曹越形成双重结论:“你要有能力嗅到这个机会”,还要“有组织能力真的能抓住这个机会”;只有注意力、没有 solid 执行,成果经不起“test of time”。

  • 曼琪指出两种能力有时互相打架:不断看新方向的人未必愿意做深,极度扎实的人又可能等成果完成时“这波风已经过去了”。曹越也观察到,有些朋友每项工作质量都好,却因过度钻深而反复错过窗口。

6. 拿到 ICCV 最佳论文后,曹越反而看见了论文范式的天花板

  • 2021 年前后,Swin Transformer 获得 ICCV 最佳论文。曹越在这一时期发生了更大的 mindset 变化:即使能做出顶级 paper,这种方法论的上限仍然清晰;DeepMind 能做 AlphaFold,OpenAI 能做完全不同量级的系统。

  • DALL·E 1 和 CLIP 在 2021 年初尤其震动他。身边不少人的反应是算力不可及、工作“touch 不到”,因此不再研究;曹越认为,如果能“放下自己的 ego”认真看,就会发现其目标、组织形态和做事方法都与传统论文团队不同。

  • 他的核心问题从“下一篇 paper 做什么”变成:“为什么他们能做出这么牛的东西,我们到底差在哪里?”这也直接推动他离开 MSRA、加入智源研究院。

7. Paper-driven 组织优化作者顺序,scalable system 优化整体产出

  • 曹越认为,国内研究组当时普遍以论文为核心驱动力,作者列表天然引入一作、二作、三作的利益分配,也就没有那么鼓励跨角色协作;MSRA 已在尝试调整,但组织惯性无法迅速消失。

  • 审稿人常问 novelty,团队便会优化“能不能提出一个新东西、把故事讲得更新”。OpenAI 的许多工作在方法上反而简单,因为它解决问题的起点不是找 trick,而是构建能随算力扩展的 system。

  • 曹越把这套方法论压缩成一句话:“怎么样设计一个 scalable 的 system,使得它可以最大化地压榨算力。”它与围绕单一任务加入人为先验的传统研究路线并不相同。

  • 真正训练大系统还需要爬数据、洗数据、训练、infra、评测,甚至最终的 PR;成员要共同关心 system,而不是论文署名。曹越后来才意识到,这种组织形态“本质上就是创业公司”。

8. 疫情拉大了认知时差,智源则提供了国内最接近 OpenAI 的试验场

  • 2020 年到 ChatGPT 发布前,疫情使中美技术交流减少,学术会议和跨团队沟通长期转为远程。OpenAI 的势能已经积累,但缺少现场信息的人更容易困在自己的“知识茧房”。

  • 曹越判断,智源是国内最早拥抱大模型和 OpenAI 方法论的机构之一:它不必以发论文为核心指标,可以筛选有创业 mindset 的人,共同构建类似 DALL·E、CLIP 的完整系统。

  • 智源在 2022 年中已有约 1,500 张 A100 连成的集群;当时国内超过千卡的集群“非常非常少”。宽松科研环境、较大算力和开源开放目标,使它成为曹越认知中“国内最像 OpenAI 的组织”,尽管相似度仍有限。

9. ChatGPT 把技术势能瞬间释放,也重写了创业的进入条件

  • ChatGPT 出现后,原本因交流阻隔而未被充分理解的 OpenAI 势能突然释放。2023 年初的《Sparks of AGI》让人们看到最初的 AGI 火花,同时也确认模型仍有大量问题和提升空间。

  • 曹越不认为机会只属于传统 NLP 从业者:OpenAI 的方法论已经跨越 CV、语言和多模态的旧边界,关键是能否构建 scalable system,而不是过去做过哪个 task。

  • 参与这场竞争却远不止会训练模型:公司还要解决前沿探索、数据、算力与融资、产品化、战略和组织。曹越当时自评,自己能搭建 train model 的团队,却仍缺少很多创业所需能力。

10. 王慧文通过推荐接触人才,梁文锋也曾主动找曹越交流

  • ChatGPT 出现后,王慧文发出“英雄帖”,曹越认为国内形势由此迅速升温。王慧文通过滚雪球式推荐接触人才:每聊一人,就请对方再推荐两三位相关领域最值得见的人。

  • 从第一次见面到最终加入光年之外,曹越只用了几周。他对王慧文的第一印象是“明显能感觉到这个人非常强”,既有大量实战经验,又能抽象出需要反复琢磨的方法论。

  • 曹越回忆,2023 年 3 月自己只和王慧文、梁文锋聊过。梁文锋主动找来时,曹越已经答应王慧文,因此没有继续合作。

  • 曼琪追问王慧文当时是否也见过梁文锋,曹越只说“好像是有的”,但明确保留不确定性;他也记得梁文锋当时希望在国内做一个长期不承受强商业化压力的研究组织。

11. “不够富”解释了追赶时代,也指向原创时代的制度切换

  • 曹越问王慧文:“为什么中国没有出现像 OpenAI 这样的组织?”王慧文很快回答,因为国内互联网公司和发展阶段使得“我们不够富”。

  • 曹越后来把这句话理解为:追赶阶段前面有清晰目标,企业只需更快接近领先者,确定性高、ROI 最高的是效率创新、模式创新和 copy to China;离前沿越远,“方向感越强”。

  • 当企业越来越接近前沿,领先者自己也在 exploration,方向感反而减弱。资本是否愿意投原创 idea、创业者是否能承受大量失败、社会如何容忍失败、失败公司如何退出,都要沿整条链路变化。

  • 到 2025 年再看,曹越认为《哪吒》、“黑神话:悟空”、DeepSeek、宇树等代表性 moment 正在出现。它们不能证明转型已经结束,却让他明确感到中国正处于 transition,未来类似事件可能越来越多。

12. 光年之外留下的核心资产,是人才判断与 CEO 压力的体感

  • 光年之外最看重的人才,是毕业三到五年内或即将毕业的 PhD:仍在一线、能力处于高峰、学习速度快。团队不太在意候选人此前做 NLP、计算机视觉还是其他方向,因为 language model 可以在几个月内补到不错水平。

  • 曹越记得,当时抢这类人才最激烈的对手就是 DeepSeek。这套画像后来延续到 Sand.ai;他认为一些组织直到 2024 年、甚至更晚才开始用类似 mindset 招人。

  • 光年之外对外结束得突然,对曹越来说并非如此。曹越承认不能继续推进会有失落,但自己和袁老师首先要履行责任,让员工与组织完成“比较 smooth 的 transition”,事情本身反而压住了情绪波动。

  • 另一条 lesson 是“CEO 压力非常非常大,所以要照顾好身体”。曹越用思考死亡来缩小日常焦虑;2025 年初 DeepSeek 爆火后,他见梁文锋仍很平静,回来便减少朋友圈等 noise 渠道,把注意力重新放回本质问题。

13. 创业让曹越第一次感觉自己的能力结构“什么都对了”

  • 2023 年 8 月相对空下来后,曹越在加入另一家公司和独立创业之间广泛比较。他发现自己并不是典型的、愿意独自钻透一个窄题目的 researcher,反而长期关注领域、组织、人和机会。

  • 他把最底层的自我觉察概括为 ambitious,但不是单纯“想赢”,而是希望越来越接近一件能对世界产生大影响的事。借用芒格的说法,取得巨大成绩的路径,是“让自己配得上这个成绩”。

  • 看到 CLIP 和 DALL·E 1 时,他的第一反应不是算力不够便否定工作,而是:“为什么我们做不了?”答案也不会只是“你不行、你菜”,而是必须找到更好的组织和实现方式。

  • 创业需要相对全面的能力、天花板高、可能做成的事情多,对个人又是“地狱模式”;这使曹越觉得过去零散的倾向终于吻合。至于为何没更早去 OpenAI,他坦言当时的认知不足,ChatGPT 之后再去也已不是同样的非共识选择。

14. 2023 年 8 月的 AI 视频,同时满足早期、上限与可商业化

  • 曹越比较过继续训练语言模型、agent、Character AI 式方向和 AI 视频。AI 视频在 Sora 出现前仍处萌芽期,模型能力很弱,却有明显的技术 upside,符合他一贯寻找“受关注且还有很大空间”的逻辑。

  • 商业侧的天花板同样高:每解锁一种模型能力,就可能解锁新的创作场景和需求,而且迭代周期足够长。竞争只是评估维度之一,并不是创业选择的主轴。

  • 2023 年 8 月再成立一家通用语言模型公司,曹越认为已经偏晚;而他接触的其他公司,在模型、infra、产品、商业化、融资等完整性上又很难超过光年之外,最终创业比加入一个“不完整的盘子”更有吸引力。

15. Magi-1 的自回归押注方向有直觉,执行却超出早期组织承载力

  • 早期自回归图像、视频研究希望把语言、图像、视频统一进一个模型,但探索较浅、效果也不好。Sand.ai 的新出发点是:视频天然按时间播放,类似语言顺序阅读,最大化压缩信息的方式可能同样是预测下一个 token。

  • 曹越至今认为这个直觉“应该还是比较对的”;真正的问题是没有好的 reference。算法、infra 和 code design 都要从零开始,创新负担集中在一家刚成立的公司身上。

  • 在约三四十人的团队里,最关键的人几乎都被自回归路线吸走;数据、训练流程、评测和 post-training 却同样需要足量投入。要把路线优势发挥出来,各维度都必须足够好,早期团队难以同时覆盖。

  • 公司从 2024 年初成立,到 2025 年 4 月左右发布 Magi-1,经历约十三四个月。曹越复盘,自己低估了“刚开始组织的团队做一个过于创新的工作”的难度;如果一开始规定半年内必须交付可用模型,做事的 mindset 可能会不同。

16. Magi-1 赢得技术注意力,却没有替公司跑通第一曲线

  • Magi-1 发布后在技术圈获得较多好评,ICLR 开会期间也有不少线下讨论,GitHub 累积了很多 stars;技术传播又带来几十万量级的注册用户。

  • 但模型没有形成明确的商业化数字。曼琪问这是否偏离最初期待,曹越承认当时对业务缺乏足够深刻、闭环的认知,想要商业价值,却没有把用户、需求与变现路径真正连起来。

  • 这次 feedback 促使公司转向更明确的 PMF 导向:创业公司要先跑通第一曲线,过度强调技术先进可能使技术与需求无法 fit;但完全由眼前需求牵引,又可能造成技术落后。

  • 曹越把难点定义为 balance:既保持必要的模型前沿性,又保证每轮迭代在当下有业务意义。产品和商业背景的人要补模型 know-how,模型背景的人也要学习产品、运营和产业。

17. 纯画面生成趋于收敛,音画同出重新打开能力曲线

  • 曹越认为,纯 video、单素材、单镜头的画面生成已经卷到相对收敛的阶段;这不等于视频模型没有窗口,而是旧能力的边际差异越来越难形成新场景。

  • 今年出现的新变量是音画同出,以及由此带来的真实人物、表演和叙事。过去无声的五秒 clip 对普通用户只是半成品,很难直接消费,必须依靠脚本、配音、配乐和剪辑流程补全。

  • 一旦模型同时生成画面和声音,单条 clip 自身就具备消费属性;人物 ID 也从只保外貌,扩展到同时保持形象和音色。这成为 Sand.ai 新模型与 C 端可能性的共同基础。

18. Sora 2 的真正增量,是十秒内形成可消费的叙事

  • 曹越把 Sora 2 的能力拆成三层:音画同出;给定照片与音色后保持人物 ID;在约十秒内通过切镜头形成基础叙事。

  • 音画同出并非首次出现,Google Veo 3 在当年 5 月已有类似能力;人物一致性也长期被图像和视频模型研究。曹越最惊艳的是第三点,因为多个镜头不再只是切换,而能形成可感知的叙事关系。

  • 完整人物 ID 也因此有了新含义:过去只能保五官和形象,音画同出后还要保音色。曼琪补充,身高、体型和两个人之间的相对比例同样影响“像不像”,曹越认可这是仍需对齐的维度。

  • 之前的模型也可能在十秒内切出多个镜头,却难以控制镜头之间的关系,更谈不上让普通人愿意消费。Sora 2 把已有切镜头能力优化成叙事能力,形成了质量上的明显跳变。

19. 叙事从 agent 流水线进入单模型,是曹越明确承认的认知更新

  • 过去更自然的方案,是让语言模型写脚本、分镜模型设计镜头、生图模型出画面、图生视频模型渲染,再叠加配音配乐;agent 可以替代其中的人力环节。

  • OpenAI 的问题却是:“这个叙事能力为什么不能让模型直接端到端直出?”曹越承认,在看到 Sora 2 之前,他没有意识到叙事应该在当前阶段直接做到视频模型里。

  • 这条路线有前置条件:无声模型产出仍是制作素材,音画同出后才是消费者可直接观看的内容。能力边界改变之后,“模型只是流程一环”的旧锚点也需要变化。

  • 曹越判断,从十秒扩到二三十秒“可能并不是技术上多难的事”,但保留了另一种可能:系统内部或许仍有 language model 先写 script。用户把 prompt 写得过细反而效果变差,也暗示模型可能更适合自行发挥。

20. OpenAI 的优势是让产品需求直接反馈到模型团队

  • 曹越把 Sora 2 看作垂直整合的结果:产品先定义需要“十秒叙事短片”,模型团队再共同对齐什么叫叙事、建立 benchmark,并通过数据、训练和模型优化交付能力。

  • 传统产品研发会优先组合现成模型;曹越推测,OpenAI 的组织可能更倾向于先问问题能否端到端进入一个模型,但他不确定这是否是 OpenAI 自成立之初就有的理念。如果方向可行,组织便能保留探索分支,结果成熟后再释放到产品。

  • 类似能力曾在 GPT-3 后出现:基础模型的能力边界已经可见,后续关键是通过 InstructGPT、SFT、RL 和 post-training,把模型对齐到普通人容易使用的 interface。曹越认为那同样体现了产品 sense 与模型能力的垂直整合。

  • 对 Sora 2 的具体结构,他明确不下定论。报告比 Sora 1 更模糊,基础模型“应该是 diffusion”这一点相对确定,但究竟是双向还是单向 diffusion、是否属于自回归模型,外部暂时没有定论;叙事也未必依赖某个“石破天惊”的秘密 idea。

21. Cameo 把模型能力变成社交循环,Meta Vibes 则更像能力缝合

  • 曹越评价 Meta Vibes“看起来什么都有”,却更像把组织现有能力垂直缝合成产品,没有鲜明价值主张,也没有让用户记住的 sell point。

  • Sora App 的链路更有机:音画同出保证内容可消费,人物 ID 降低创作门槛,Cameo 再把熟人关系、合拍、@、邀请码和 remix 接到同一产品体验上。邀请码甚至天然建立朋友之间的关注关系。

  • 曼琪指出,早期上面最多的可能是赛罗奥特曼等公共角色,随后才会拉真实朋友进来。曹越认为 OpenAI 对 deepfake 风险有所顾虑,但也做了取舍:部分名人形象没有被全面禁止,而这类内容确实很有传播性。

  • 曹越推测,模型训练中不可避免使用过一些版权类型的数据,多模态标注又让模型学会识别角色;这是他的解释而非已证实事实。无论来源如何,低门槛 ID、十秒叙事和较好质量共同构成了传播事件。

22. 新一代模型先攻人物,是从用户痛点反推模型目标

  • Sand.ai 在确定新一代模型方向时,选择音画同出,但重点不是覆盖所有声音场景,而是让人物的说话与表演足够真实。

  • 曹越把旧模型擅长的内容归为 B-roll:空镜、转场、视觉化素材。叙事内容的 A-roll 却大量由人物构成,角色通常还需要说话、表达情绪;只生画面再后置 lip sync,会显得“很怪、很假”。

  • 公司与短剧、AI 叙事内容从业者交流时,最常听到的首要卡点是“人物太假”“演员没有表演”。曹越估计,人可能占普通视频画面的一半以上,因此这是需求频率最高、也最值得先解决的缺口。

  • 结果也说明这不是全行业共识:并非所有团队都把人物表演列为重点。曹越认为,差异来自是否从需求出发,再结合技术判断寻找 demand 与 model 的 fit,而不是只沿模型榜单继续优化。

23. AI 短剧尚未形成成本碾压,质量门槛比单价更关键

  • 曹越给出的粗略行业数字是:实拍短剧早期约 10 万元一部,一部约 60—100 分钟;到 2023 年前后成本曾卷到约三四十万元,中间可能更高,近期又有所回落。

  • AI 短剧当前约每分钟 2,000—5,000 元,整部也可能在 20 万元左右。它与实拍并未形成数量级差异,生成质量又无法真正 compete,因此偏实拍的 AI 短剧仍未跨过用户消费门槛。

  • Sand.ai 希望聚焦场景后降低模型成本,同时率先改善人物表演。若一部短剧有 60 集或 100 集,主角的形象、音色、身形还必须长期一致;这类高频刚需也决定了模型 feature 的优先级。

24. 同一个人物能力,可以服务专业创作者,也能变成“斗视频”工具

  • 第一类目标用户是短剧、叙事内容、广告、宣传片和投放素材的创作者。人物只要更有表现力,就不局限于影视叙事,讲解、营销等所有出现人物的片段都可能受益。

  • 第二类是普通用户。Sand.ai 内部发现,只需给一张图、一段台词和情绪描述,就能生成有表演的视频;在群聊里,它像可定制的动态表情包,让用户从“斗图”升级为“斗视频”。

  • 公司内部还举办过斗视频比赛,设置“最具电影感奖”“一定火奖”等类别。曹越据此判断,玩法门槛已经足够低,天然适合社交传播,而不是在 Sora 2 发布后才临时拼出的概念。

  • 2025 年 10 月 11 日先上线的是 Web 产品,让更多人体验模型能力;更完整的 C 端形态很可能是 App,但定位和模型—产品设计仍需打磨,不能只复制 Sora App 的表面形式。

25. C 端视频首先要优化分辨率、速度与预算,而不是专业画质

  • 曹越提到,在很长一段时间里大家只能生成约 360p 的视频;这对要求至少 1080p 的专业创作者难以接受,却可能足够支撑手机端 for fun。Sand.ai 内部讨论 C 端时,也认为 270p 或 360p 已适合微信传播。

  • 音画同出改变了降质代价:从 1080p 降到 360p,只损失画面清晰度,声音不会同步变差。若声音是沉浸感的重要组成部分,低分辨率内容仍可能维持可消费性。

  • Sora 生成一条视频约需 1—3 分钟,曼琪认为仍然慢;曹越同意,如果十秒就能生成一次,用户行为与一分钟等待会完全不同,创作频率可能提高一个量级。

  • 免费产品的算力约束已经显现:单人每日额度从最初 100 条降到 30 条。曹越认为成本很痛,却未必是最大问题;如果留存成立,许多大型 C 端产品都能在后期找到商业化路径。

26. Sora App 目前更像工具,平台地位要由留存证明

  • 大厂即使只认为新平台有 10%—20% 的机会,也会因错过代价过大而投入;它们资金成本低,可以“看到机会就冲”。创业公司则必须更精确地判断这究竟是不是平台窗口。

  • 曹越给出两个直接条件:是否出现新的内容形态,是否出现新的传播渠道。当前 Sora 生成的十秒视频仍大量被搬到朋友圈、小红书、抖音、视频号和快手,说明既有平台仍掌握消费链路。

  • 在没有新内容或新渠道时,Sora 存在的价值更偏工具属性。它有社区雏形,却缺乏成熟创作者激励,互动主要还是点赞和 remix 通知,也受生成预算制约。

  • 曹越最关注留存:短期涌入大量用户只能帮助团队更快找到适配人群,不能证明长期刚需。Sora 2 是否能成为新的消费平台,他的结论是“现在没有人有答案”。

27. Sand.ai 的垂直整合,首先是一场上下文重构

  • 今年曹越把大量时间从纯算法转到产品与运营,逐步补齐产品研发、运营和模型体系。组织规模仍只有几十人,变化不主要体现在复杂汇报结构,而在交流密度。

  • 公司安排模型与产品关键成员做 one-on-one、共同交流,并由曹越充当信息分发中心。目的不是让产品给算法“提需求”,而是让双方共享需求、模型能力与边界。

  • 产品侧可能同时有 A、B、C、D、E 多个需求,模型团队要判断哪些当前可解、哪些只需小迭代、哪些必须等下一代模型。只有 context 对齐,优先级才不会在部门接口处失真。

  • 曹越对“垂直整合”的定义,是模型人越来越理解产品和运营,产品人也理解模型现状与发展趋势;更自由地交换信息,能让不同职能更紧密地合作。

28. 模型级产品不是让产品退场,而是让模型与产品互相放大

  • 曹越认为,早期“模型级产品”常被理解为产品、运营不要雕花,先最大化展示模型能力。这在基础模型快速进化阶段有合理性,却不是成熟阶段的终点。

  • Cameo 是更完整的例子:模型先提供可消费内容和人物植入,产品再围绕熟人关系、邀请码、@ 和合拍降低门槛。产品没有压过模型,反而放大了模型最独特的 feature。

  • Sand.ai 新模型也不再以“提出什么新技术”为目标,而以“人物说话和表演足够逼真”为目标;形象、音色、身形与长内容一致性,都是产品需求与模型团队碰撞后形成的优先级。

  • 曹越以 Claude Code 对比 Cursor:模型与产品都掌握在同一组织时,可以为特定 feature 调整能力、成本和体验,甚至创造其他产品无法复制的交互;单纯调用 API 的产品做不到同样深度。

29. 新模型首发不先预设赢家,而用真实留存寻找用户

  • Web 产品最初会尽可能开放给更多人体验,再观察留下来的究竟是专业创作者、AI 短剧团队、广告用户,还是 C 端玩梗人群。曹越不想先假定只有单一 persona,因为真实 fit 可能落在 A 与 B 的中间。

  • 小范围内测的直接反馈,是人物说话和表演真实度很高。曹越认为这一维度至少和 Sora 差不多,也有机会表现得更好;这仍是公司内测阶段的判断。

  • 与 Sora 2 相比,他谨慎表述为:人物音画同出“至少差不多”,也“有机会表现更好”;明确缺失的是十秒叙事和自动分镜能力。优势声明与能力边界在节目中被同时保留。

30. 专业 CEO 的工作,是把行业趋势拆成可执行节奏

  • 曹越参考理想汽车约 2020 年题为“如何做一个专业的 CEO”的分享:先定义行业、趋势与阶段,再识别当下痛点、解决方案、目标用户、所需融资、时间表和公司战略。

  • 这套框架的意义,是 CEO 不能只凭直觉、热情或既有能力“横冲直撞”。面对 Sora 2 这类事件,要先判断它是 noise 还是结构变化,再写下影响、询问不同人的判断,最后决定公司动作。

  • 他当前最高优先级,是理解 AI 视频未来一段时间最大的机会,并把 Sand.ai 打造成能抓住机会的组织。生产力工具到 C 端能力提升的大趋势相对共识,真正不共识的是 timing。

  • “机会出现了,但组织没有能力抓住”,意味着节奏本身没有抓好。专业 CEO 要同时判断何时准备模型、何时补产品、何时建立渠道,而不是等市场信号完全清晰后才组队。

31. Gemini 2.5 Pro 已成为研究伙伴,也成为组织的“上下文翻译器”

  • 曹越在今年五六月再次感到顶级模型的强大:团队讨论一个算法问题时,Gemini 2.5 Pro 补全了研究者未注意的部分,还提出“真的还算靠谱”的方案。团队把这种体验戏称为 “web research”。

  • 他发现模型尤其擅长拆解类比:人会把事件 A 联想到事件 B,模型能系统梳理相似、不相似之处及原因。曹越也会把散乱想法一次性输入,让它结构化,平均每天可能讨论一两个小时。

  • 这不等于他更信模型而不信人。人的几十字观点通常压缩了大量背景,对齐可能要半小时;模型能结合被提供的背景和广泛知识,迅速推测观点背后的原因,大幅降低沟通摩擦。

  • Sand.ai 员工会把难懂的跨部门消息截图给“Gemini 老师”,让它解释对方到底在说什么。曹越认为,这种 bridge 算法、产品、运营之间 context gap 的用法,可能比单纯问答案更接近底层组织变革。

32. “所有内容的终局都是叙事”,也连接了技术与商业模式

  • 一位资深影视从业者告诉曹越:“所有内容的终局都是叙事。”短视频从“记录美好生活”发展到对十五秒观看体验的充分优化,再到短剧;即使 UP 主内容,也有自己的叙事结构。

  • 这条反馈让他更重视人物与表演,也解释了为何 Sora 2 的端到端叙事如此震动他:模型不只降低素材成本,而是在靠近内容最核心的组织方式。

  • 曹越决定做 AI 视频时,王慧文只给了一个简短建议:“可以去研究一下皮克斯这家公司。”曹越后来理解,皮克斯既靠图形技术制作电影、取得票房,又把角色 IP 长期留在公司,通过周边等方式持续变现。

  • 曹越的理解是,真人影视中电影火了之后,角色 IP 往往由演员带走,而皮克斯如果自己完成创作,角色就能留在公司并形成长期收入。曹越过去常问“伊利亚会怎么想”,创业后则更多参照王慧文、张一鸣、李想、雷军、段永平等经营者。

33. 曹越留下的 next question,是智商 1,000 的 ASI 会把人类置于何处

  • 曹越把 ASI 设为公司内部也会讨论的开放问题:如果语言模型的智力逐年提高,五年后假设达到“智商一千”,现有测试体系可能根本无法测量,人类也缺少理解这个数字的参照物。

  • 他用大人与小孩、人类与猴子的差距作类比:当一个智商 500 或 1,000 的智能体出现,它到底会给世界带来什么影响,今天很难从线性能力提升中推断。

  • 硅谷很多公司认为,做 superintelligence 需要 scale,但到底是否真的需要 scale,曹越认为可能存在不同观点。他没有给确定答案,只认为沿这个方向继续推演,会暴露许多当下组织与产品讨论尚未触及的问题。