摘要

Sora 2证明文生视频已能赋予角色丰富动作，却仍不满足实时数字人的生产约束。 它依旧受限于10秒时长，背景文字会乱码，也无法精修人物动作、表情和跨帧一致性；而客服、销售或展厅数字人必须在约1.5—2秒内响应，并做到“不能有瑕疵，物理上是准确的”。两者的核心分野不是画面是否逼真，而是2D像素生成与可控制、可交互的结构化3D。
3D数字人的成本优势来自把一个人的表达压缩为数百个参数，再以AI取代传统渲染与物理解算。 魔珐称其实时延迟已做到500—600毫秒，生成成本约为大模型语音合成的“几十分之一”，终端甚至可用几百元的RK3566芯片运行。相比之下，逐像素生成视频缺乏结构化信息，高并发时每增加一个用户就增加一路推理成本。
魔珐真正难复制的资产不是单一算法，而是约1000小时高质量3D动画数据及配套采集能力。 柴金祥给出的行业量级是高质量人脸、手势和表情动画“每秒至少1000元人民币”，而且合格制作团队全球稀缺；内容公司有数据却缺AI能力，大模型公司有算法却缺3D数据。“数据是最核心的。没有数据，其他任何研发都没法做。”
星云平台把魔珐从项目制3D制作商推向可规模化的模型与API供应商，商业拐点来自彻底拿掉每路一张GPU。 半年前，其实时服务一路仍需一张约2万—3万元的显卡，客户询价后便放弃；改用AI渲染和AI解算后，平台已有数百家B端企业测试、部分付费，并计划在10月、采访后约两周发布。“如果不能把这张用于渲染和解算的显卡去掉，就没法真正谈应用。”
AI渲染可能重写游戏引擎的价值链，但目前更像运行时替代，而非训练数据源的消失。 魔珐称在自己的数字人场景里，AI输出与最高质量游戏引擎渲染的并排对比“没有一个人能看出来”差别；游戏公司可能因终端算力和云端GPU需求下降而受益，Unreal未必受益，NVIDIA则是“左手跟右手”的关系。传统引擎仍负责生产高质量训练数据，模型只是在实时阶段绕开它。
数字人最广阔的入口不是一次性视频，而是成为各种大模型终端的可视化交互层。 柴金祥判断，手机、PC、车机、电视、展厅大屏和迷你全息屏最终都需要语音、动作、表情、姿态一体化的界面，企业会有统一品牌官，个人则“可能会有一个分身”。这也解释了为何垂直语音、人设、唇形和同步动作需要作为一套协同的表达能力处理，而不能只依赖通用语音接口。
数字人技术可以反哺机器人，但机器人投资叙事仍受制于现实世界的泛化与动力学。 柴金祥认为，特定场景下的走路等动作已基本解决，可面对任意楼梯仍不跌倒、在家庭中灵活抓取则“可能现在还没有”公司真正做到；行业只是认为VLA、强化学习和Scaling Laws可能最终奏效。他对机器人“GPT-3时刻”的诚实估计是“两年或者三年”尚无法判断，“10年可能有希望”，且商业化上“白领可能会比蓝领更快”。

精读

1. Sora 2拉高了视频上限，也暴露了实时交互的边界

泓君以9月最后一天发布的Sora 2开场：它把一句话变成10秒短视频，并采用类似社交媒体的形态；相比Sora 1偏场景生成，新版本明显转向以人或动物为主体，让角色跳舞、进食或交流。
柴金祥认可画质与动作丰富度的进步，却保留两个判断：时长仍未跳出10秒限制，刷屏时看到的很多效果虽然漂亮，但自己生成时“瑕疵还是太多了”。
泓君生成“《硅谷101》关于AGI的辩论”时，背景里的Alignment出现乱码；更关键的是，创作者无法只修正文字或某个动作，不能像编辑素材一样精细修改。
Sora 2最重要的信号，是大模型已经能让同一人物完成多种行为；但柴金祥判断，若目标是一个能交流、跳舞和娱乐人的数字人，最终训练体系“可能需要把2D和3D的训练技术结合在一起”。

2. 3D的价值不在立体感，而在实时、准确和可控制

泓君把差异概括为Sora 2的“文生2D视频”与魔珐的“文生3D”：后者可进入VR或AI环境，更重要的是带有可直接控制的动作、姿态和表情参数，而不是只操纵像素。
展厅数字人担当的是人与机器之间的交流载体，柴金祥给出的体验门槛是端到端延迟小于约2秒、最好1.5秒；他称目前实时延迟已做到约500—600毫秒，不能像视频生成那样等待5分钟或10分钟。
服务人员或销售数字人也容不得手指增生、胳膊断裂、部件穿插等跨帧错误。“不能有瑕疵，物理上是准确的”，因为一次生成视频可以挑选成片，实时对话却没有重试窗口。
实时还意味着高并发：若1000名用户同时与同一形象交流，每个人收到的内容都不同，推理成本便可能乘以1000。延时和单位成本因此是同一个部署问题。

3. 数百个结构化参数把视频生成降成了Token级成本

柴金祥解释，描述一个人的动作和表情只需数百个参数，大致对应数百块肌肉的控制；头发、衣服等再经过物理解算，最后才渲染为屏幕上的视频，这与从无结构像素直接生成每一帧是两条成本曲线。
魔珐的第一段模型把文本变成语音、面部表情、身体动作、手势和姿态参数；第二段以AI完成3D渲染与解算。参数传到终端后，因而不必持续运行昂贵游戏引擎。
柴金祥称，这套方案已能在几百元的瑞芯微RK3566上运行，成本“可能只有语音合成成本的几十分之一”。他的类比是：每帧只生成数百个参数，经济性更接近大模型生成Token。
屏幕本身可能仅售约1万元；若数字人每次交互20分钟都持续消耗昂贵GPU，全年运营账便无法成立。低成本不是体验优化，而是终端产品能否存在的前提。

4. 两个模型串联，才构成完整的人机交流闭环

柴金祥把人与数字人的交互拆成两半：眼睛和耳朵负责感知，多模态大模型完成理解、决策并输出文本；魔珐的文生3D多模态模型再把文本变成带情绪的语音、表情、动作和手势。
前半段可以采用千问、DeepSeek或豆包等模型，后半段则是魔珐自己的垂域模型。其目标不是让数字人只“说出”回答，而是让语言、唇形、表情、姿态和手势像真人一样同步表达。
星云平台在采访时处于测试阶段，已有数百家B端企业测试，且出现付费客户；团队计划在10月、约两周后发布文生3D多模态模型，并让开发者把能力集成进自己的应用。
泓君据此判断魔珐正从一家3D数字人公司转向平台公司，柴金祥的回应是“差不多”。平台化的意图，是把团队二十多年积累封装起来，让开发者不再重复造轮子。

5. 传统专业级“造人”仍是一条昂贵的工业流水线

传统流程先以多相机扫描真人，重建几何、纹理和材质，再完成肌肉系统的建模与绑定；之后演员穿上动捕服，由相机采集动作，最后通过游戏引擎或离线引擎渲染视频。
柴金祥以Jensen Huang在NVIDIA发布会上的数字分身为例：“你看到的我不是真的我。”做到类似逼真度，需要研发与美术团队共同制作；按其给出的业界量级，造出一个人约10万美元，视频制作还要另外按秒计费。
这套成本结构意味着3D数字人长期停留在好莱坞、3A游戏等专业内容生产中，普通人无法生成同等级资产。生成式模型的机会，是同时压低建模、动画和最终输出成本。

6. 3D行业的稀缺品是高质量数据，而不是再一个算法团队

柴金祥看到的是一道产业断层：影视动画和游戏公司擅长制作高质量3D内容，但大多缺AI能力；大模型公司算法强，却没有足量、可训练的3D资产。两条线之间“交叉非常少”，使双方都难以独立完成3D大模型。
魔珐自2018年起先为游戏、影视动画、企业和虚拟偶像客户提供3D内容制作服务，同时尝试把AI与美术结合，随后转向自建数据。团队累计约1000小时高质量3D动画数据，覆盖人脸、手势、表情和身体动作。
这1000小时不能与低成本文本或公开视频直接类比。柴金祥给出的国内生产成本是高质量人脸动画、手势和表情每秒至少1000元人民币，且还必须找到有能力持续达到标准的团队；“数据是最核心的。没有数据，其他任何研发都没法做”。
魔珐也在吸收公开视频中的走路、交流等行为信息，但视频没有原生3D结构。当前训练路径是把视频数据与稀缺但精确的3D数据融合，而非只依赖其中一种。

7. 数字动画与机器人本就是同一条技术谱系的两端

柴金祥2000年进入Carnegie Mellon机器人研究所读博，论文研究可交互3D数字人与AI动画；他称所在团队是全球最早用AI做动画的团队之一。2006年赴Texas A&M任教、2018年创业后，他始终围绕同一问题工作。
导师Jessica Hodgins早年研究人形机器人时，机器人“只有一条腿”，因为双足平衡太难；她随后把现实世界里的物理运动控制带进图形学，成为最早以物理仿真和控制制作数字人动画的人之一。
2000年前后，运动捕捉开始出现并逐渐普及，研究者才有条件引入AI；柴金祥回忆，较早以强化学习制作动画的论文约在2004或2005年出现。数据让动画从手工控制器走向学习系统。
这条人才路径后来反向流回机器人：Sergey Levine读博时做动画，之后成为Physical Intelligence的联合创始人并研究机器人大脑；Karen Liu则长期同时研究Animation和Robotics。虚拟人与机器人共享运动规划和控制，只是现实世界多了硬件与物理约束。

8. 好莱坞、游戏和实时陪伴需要的是三种不同最优解

柴金祥把产品约束拆为质量、成本和场景：好莱坞可以等待100或200小时并支付更高成本以换取极致保真；实时服务则必须立即回应，可以略降视觉上限，却不能牺牲稳定性。
泓君介绍，Tilly Norwood诞生6个多月已有6.5万粉丝，自拍、喝咖啡、代言都接近真人；但柴金祥认为其生产方式仍是PGC式2D内容。每天发布内容时，可以生成100段再挑一段，以此掩盖错误，却不能直接迁移到实时互动。
他以更早的Lil Miquela作参照：后者在Instagram已有约一两百万粉丝，说明虚拟人成功还依赖社媒运营、人设与专业内容，并非仅靠生成技术。若要现场演唱会或实时互动，魔珐采用的结构化3D更强调交互性。
魔珐选择的推进顺序是日常交互、服务与陪伴，随后进入游戏，最后才挑战好莱坞。IP衍生内容可以提前切入，但电影级主资产需要更高质量数据，能够生产这类数据的人“全世界可能都没有几个”。

9. 拿掉每路一张GPU，平台商业模型才真正成立

星云API在技术上半年前已经基本完成，但当时每服务一路用户就需要一张约2万—3万元的显卡。许多B端客户先表示想试，听到价格后便放弃，迫使团队先解决单位经济性。
成本中心并不只在文生动作，而在3D实时渲染与物理解算；传统方案通常依赖Unreal和高端GPU。柴金祥一度认为这个问题无法解决，后来团队用AI同时替代渲染与解算，才把计算移到一两百或两三百元的端侧芯片。
泓君追问API是否能赚钱，柴金祥的回答是“肯定能”。他的逻辑不是补贴换规模，而是国内AI创业公司若不是字节、阿里或腾讯，就必须让商业账先算得过来。
在魔珐针对数字人的并排测试中，左侧使用游戏引擎、右侧使用AI渲染，“没有一个人能看出来”区别。对把数字人部署到每块屏幕这一目标而言，这比单纯提升模型画质更关键。

10. AI渲染可能削弱游戏引擎的运行时地位

柴金祥认为，游戏公司可能是直接受益者：3A游戏当前依赖云端GPU或高性能终端，手机运行时还会发热；若特定游戏可用端侧AI渲染，游戏和未来虚拟世界的分发成本可能显著下降。
泓君提出Unreal和Epic Games若不更新会有风险。柴金祥的限定是，传统引擎仍要负责生成最高质量训练数据，类似机器人训练先采数据、部署时只运行模型；真正可能被替代的是实时渲染阶段。
对NVIDIA，他称之为“左手跟右手的关系”：实时渲染少卖的卡，可能由另一部分需求补回。对Unreal，“不一定是个特别好的事情”；对游戏开发商则更多是机会。
Genie 3提供了一个相近方向：其训练内容可由游戏引擎生产，但生成可交互、带3D感的视频时，“其实就不需要新的游戏引擎了”。柴金祥仍把判断限定在“某个特定游戏、某个特定应用场景”的AI渲染模型，而非宣称通用引擎已被取代。

11. 大模型的下一代界面可能就是一张会表达的脸

柴金祥引用一位非常有名的心理学家在1970年的说法：人与人沟通中，视觉信号可能占50%—60%，语音占30%—40%，语言本身约占7%。他的产品判断是，只靠文本框或“对着空气讲话”丢失了多数交流信息。
未来大模型会进入手机、平板、PC、车机、电视、展厅大屏和桌面全息屏；数字人负责补回语音、唇形、表情、姿态与手势，让人机交互变得像人与人交流。
ChatGPT式系统已经覆盖多模态输入到文本，也覆盖文本到图片或视频，但柴金祥认为还缺“文本到多模态表达”。把这两段串起来，机器便能看到用户表情、听懂说话，同时用完整身体语言回应。
企业可能拥有统一的客服或品牌官形象，个人则会形成自己的分身。柴金祥对泓君的设想是：当本人休息时，分身仍可利用其专业领域能力与别人交流并提供反馈。

12. 质量、延时和成本是规模化必须翻越的“三座大山”

柴金祥总结客户反复追问的三项指标：语音、动作、表情和唇形是否自然；回答是否要等5秒；体验改善是否足以覆盖投入。除此之外，还要适配不同屏幕、操作系统、芯片算力和并发能力。
质量首先由同步数据决定。魔珐自建工作室，同时录制最高质量语音、唇形、表情与动作，因为“语音归语音、动作归动作”的数据无法学习真人表达中的协调关系。
模型还需从文本提取情绪与意图：笑、打招呼、严谨解释或亲密陪伴，都应同时改变TTS、脸部和姿态。团队因此自己完成文本到语音和全部3D表达，而不是把通用语音API简单接到动画上。
垂直人设是自研的另一理由：客服、销售陪练、医生、面试官需要专业或严谨的声音，C端陪伴则可能是卡通小孩或“小奶狗”。客户如果已有自己的语音或文本模型，可以直接调用相应能力；若什么都没有，平台则提供整套能力。

13. 数字人的动作模型天然可以成为机器人的训练数据源

魔珐已经尝试用同一套能力驱动机器人：数字人能够生成从脸、手到腿的完整动作，以及语音和姿态，机器人则可采用其中适合自身的动作与手势。当前多数机器人没有脸部肌肉，所以暂时无法复现表情。
柴金祥把执行问题分为Kinematics与Dynamics：运动学先回答抓杯子时手应采用什么姿态、处于什么位置；动力学再决定施加多少力，才能让硬件复制这条路径和姿态。
魔珐提供的动作可进入simulation，再结合模仿学习或强化学习适配具体本体。上身动作已有一定泛化性，爬楼梯等全身动作则更依赖机器人公司的平衡控制与硬件能力。
团队计划今年发布3D动作大模型：用户可说“向前走5步，趴在地上，再爬起来，然后跑”，模型直接生成动作数据。柴金祥认为，这既可减少动作捕捉，也能训练机器人，因为捕捉本质上同样是在获取动作样本。

14. 机器人已经越过控制器时代，却尚未越过泛化鸿沟

早期ASIMO式机器人主要靠大量工程师手调控制器，在固定表面完成走路已属突破；今天，视觉、强化学习和NVIDIA式simulation让稍好的团队普遍能做走路、跑步等动作，但“换一个场景是否还不摔”仍是另一回事。
泓君指出，Boston Dynamics过去展示爬楼梯时常是同一楼梯；柴金祥表示，高度、层数、速度和摩擦系数变化后，系统未必稳定。他不相信当下已有任何人形机器人能面对任意未见楼梯都可靠完成，并保留了“如果有的话，我也要学习一下”的余地。
抓取同样停留在精心布置的demo。泓君在活动现场让机器人开可乐，工作人员要求把拉环预先朝向手指，否则它无法先旋转罐身再开盖；进入灯光、摆放和障碍都变化的家庭，难度只会更高。
柴金祥拒绝评选“世界上最好”的机器人公司：本体、小脑控制和VLA大脑是不同赛道，暂时领先的路径也可能最终走不通。对GPT-3时刻，他无法判断两三年，但认为“10年可能有希望”；商业落地上，数字世界更容易先实现商业价值，现实机器人则可能“白领比蓝领更快”。
泓君将这一轮变化概括为从白盒到黑盒：过去逐项计算受力和控制器，如今以数据、奖励函数和强化学习让系统从经验中调整。柴金祥认同这条路已被打开，却不保证Scaling Laws一定收敛；行业正处在“刚找到一条新的路”的兴奋期，低谷与意外挑战仍可能反复出现。

（预告）理解 AWS 宕机、韧性现实与创新紧迫性，F1 转向 Apple TV 138: 从你用手机到它更懂你，OPPO的手机AI实践 |与小布负责人万玉龙聊端侧AI｜Agent#7