133. 对谢赛宁的7小时马拉松访谈：世界模型、逃出硅谷、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42
摘要
谢赛宁的判断是：LLM不会死亡，但终将“凋零”，更多退回沟通界面，而不是成为通用智能的地基。 在他看来，语言保存的是人类已经选择并表达出来的抽象，难以充分刻画连续、高维、有噪声的物理世界；更基础的底座应是能学习层次化表征、预测行动后果并支持planning的世界模型。语言像拐杖，能让系统暂时走得更快，也可能让它不再锻炼自己的“腿”。
AMI Labs想做的是一个“predictive brain”，而不是又一家追逐榜单的大模型公司。 其最基础的世界模型形式是：给定状态 (s_t) 和action/intervention (a_t)，预测下一状态 (s_{t+1})。最终系统还需要physical-world understanding、关联记忆、reasoning、planning、causal inference、controllability与safety。语言、视频生成和机器人更像这层foundation的不同接口或下游方向。
这也是一次组织选择：逃离由benchmark、product cycle和资源军备竞赛驱动的有限游戏。 谢赛宁认为，许多研究者知道视频理解、预训练和世界模型重要，却只能执行既定的product cycle。AMI Labs希望超过一半接近新型frontier lab的组织化执行，其中约60%-70%像new lab，同时保留约20%-30%的自由、前沿research空间；公司最重要的product可能是一次research breakthrough。
公司真正需要的不是把互联网再下载一遍，而是与真实世界伙伴共建数据和问题。 访谈时口述的初始团队约25人，计划设巴黎总部及纽约、蒙特利尔、新加坡办公室；pre-money估值为30亿欧元，融资规模他谨慎说“可能大约10亿美元”。“反向OpenAI”模式是从医院、农场、工厂、飞机引擎等场景获得连续数据，让模型创造价值，再用新数据反哺模型，而不是单向下载互联网后推向市场。
最清晰的产品出口是always-on wearables与general-purpose robotics，但瓶颈都在“大脑”。 持续记录心率、睡眠、用药、饮食和视觉流的设备，需要理解长期状态，而不是给摄像头接一个ChatGPT。机器人可以表演和运动，却还不能像12岁孩子一样可靠完成家务。谢赛宁希望“通过不直接做robotics的方式解决robotics”，先做可迁移的表征和世界模型，再通过合作完成硬件闭环。
他的研究轨迹表面分散，根部却一直是representation learning。 DSN、HED、ResNeXt、MoCo、MAE、ConvNeXt、DiT、SiT、Cambrian、REPA和RAE都围绕架构、数据、objective与表征展开。他从何凯明处学到，idea来自一到两个月的动手探索、失败和意外信号，而不是坐着想出的“小妙招”；研究通常非线性，论文接收和奖项也有很强随机性，长期积分与代表作比单次结果更重要。
他两次拒绝Ilya、最终对杨立昆说yes，核心是问题、人和组织的匹配，而不是简单比较名望或薪酬。 2018年他放弃OpenAI的offer，选择加入FAIR；2024年7月SSI成立后再次婉拒，因为当时对多模态和感知的判断与他想做的主线不同。杨立昆提供了共同认可的world model与JEPA方向，以及组建团队、定义问题和保持研究自主性的空间。
最大的风险也尚未被解决：世界模型的数据、objective、输出形态和scaling law都没有收敛。 互联网视频只是可能的第一步，YouTube还涉及版权和Terms of Service；工业传感器数据更有价值，却更难取得。谢赛宁承认自己不懂商业、不能保证每个设想都正确，但相信可以通过团队共同fail、pivot和继续探索。他把创业比作滑雪：不要因害怕而向后仰，要把肩膀朝向山下。
精读
1. 从旅行、书和互联网走向研究
谢赛宁第一次做播客和访谈。童年最早的记忆大约在四五岁，母亲做生意、经常带他在全国各地旅行；父亲学过心理学，做过教育和电视传媒，家里书房几面墙都是书。于是他要么在外面跑、看不同地方，要么在家翻各种“能看的、不能看的书”。他认为，轻松且没有纯理工传统的家庭环境，帮助他形成了较开放的世界观。
大约9岁时，他拥有第一台电脑，先是买游戏、打游戏，后来接触互联网、BBS、新浪博客、QQ空间和饭否。阅读原本是单向输入，互联网让他第一次可以公开表达意见，也让他变成一个对很多事情都感兴趣的人。
他不接受把自己描述为一路顶尖高中、竞赛、本科、PhD再到教职的“A类轨迹”，自评最多是“B类轨迹”。信息学和数学竞赛奖项让他获得上海交大提前入学机会，老师希望他继续高考冲清华北大，但他觉得上海、交大和计算机与自己气质相投，最终进入ACM班。提前入校的两个月，他几乎都在宿舍打游戏，并把那段无负担的虚度时光称作人生高光。
在三四十人的ACM班里，他大致排十几名，没有把第一、第二名或GPA当作目标。面试时，沈恩少教授不问技术问题，而问他喜欢读什么书。他答出《What Is Mathematics?》，又想起作者Richard Courant。多年后他在NYU所在的Courant数学科学研究所工作；该研究所由Courant参与建立。谢赛宁把这视为回望时有趣的缘分，但没有把巧合说成因果。
2. 视觉成为人生主线
侯晓迪是交大的传奇：作为本科生发表过一篇只有约7行代码、解决重要问题的CVPR论文，也主笔了《交大学生生存手册》。手册讨论教育体制、学习目的、人生选择和研究不应只是灌水发论文，也包括怎样逃课、完成作业等内容。谢赛宁尤其认同其中关于不要把绩点当作最高追求的观点，并通过Google Chat向侯晓迪请教research和论文。
ACM班大三通常要外出实习。谢赛宁原本可能去微软亚洲研究院，但当时没有视觉组愿意接收本科生。于勇认为本科生首先应获得研究经历，具体方向未必重要；谢赛宁却无法接受完全偏离视觉，于是自行联系新加坡国立大学颜水成实验室，等补贴和安排都确定后才告诉于勇。于勇最后同意了，这个实验室后来也成为学弟学妹可以选择的实习地点。
在冯佳时指导下，他完成了一篇BMVC论文，不是CVPR，也不完全是视觉论文，更接近机器学习工作，唯一较直接的应用是人脸识别。对他而言，重要的是第一次真正经历research、写paper，并在2012至2013年前后接触AlexNet、ImageNet和深度学习。
他之所以被视觉吸引，不只是因为图像本身。他小时候想过，如果必须失去一种感官，也许听觉、语言、触觉或嗅觉还能勉强接受，但失去视觉就不能看动画片、电影、打游戏，仿佛连独立性也会失去。他引用一种说法：主要视觉区域约占大脑皮层30%，看到图像时，大脑被激活的部分可能达到70%；眼睛像是“唯一暴露在真实世界里的大脑部分”。因此，解决视觉也可能是在接近智能本身。
他还讲到一个主流理论：约5.3亿年前，视觉出现后，捕食与逃生带来感知军备竞赛，可能推动了寒武纪大爆发。视觉从一开始就与行动、预测和生存联系在一起。
3. PhD选择了人和问题
申请PhD时，他一度没有拿到真正想做视觉研究的导师offer，甚至考虑转向推荐系统或更一般的机器学习。临近4月15日截止，他疯狂写套磁邮件，涂志文回复了他。两人因时差在凌晨三点通话，谢赛宁讲自己为什么做视觉、做过什么，以及为什么希望与涂志文合作。涂志文在最后阶段给了他UCLA的offer。
入学前约一周，涂志文告诉他将离开UCLA，但当时不能透露下一站。谢赛宁几乎立即决定等待并跟随导师，而不是留在UCLA。他后来得知目的地是UCSD，当时综合排名可能不如UCLA，自己想合作的Serge Belongie也正准备离开，但他认为这些都是噪音，真正重要的是“跟谁一起做什么，这件事是不是我想做的”。
他成为涂志文在UCSD招收的第一个学生。涂志文会坐在显示器旁逐行看代码，也会讲述没有PyTorch、成熟开源库和GPU时，如何从底层用C++写出约5万行代码完成图像分割等工作。谢赛宁因此更敬佩涂志文、朱松纯、李飞飞等前辈：他们不只是发表论文，也把原本不存在的国际视觉研究道路走了出来。
他不接受“在国内平平无奇、到美国一鸣惊人”的说法，认为自己的经历一直是平滑积累，而不是突然爆发。他最崇敬的研究者都不是为了“一鸣惊人”工作，而是为了把问题想清楚。
4. 非线性研究与五次实习
博士早期的Deeply-Supervised Nets（DSN）让网络在中间层增加监督出口，使梯度不必只从最终输出一路反向传播。HED则把这种思想应用到图像边缘检测：低层边缘较粗糙，高层边缘更细致，最后融合成更接近人类认知的结果。HED发表在ICCV，获得Marr Prize提名；这不是最佳论文奖，但他认为对Marr Prize而言提名本身已经相当于一个奖项。
DSN最初投稿NeurIPS时得分很高，却因公式漏写平方项的typo被拒，rebuttal也没能让reviewer看到解释。后来论文转投AISTATS，十年后获得Test of Time Award。谢赛宁由此更相信录用和奖项具有随机性，研究者不应把某个时间点的结果当成对自身价值的最终估计；长期积累最终才会形成评价。但他也承认，被拒时很难想到十年后的奖项。
博士期间他先后去过NEC Labs、Adobe、Meta、Google Research和DeepMind实习，每次通常3到6个月，一半时间在学校、一半时间在产业界，约一半实习没有做出成果。他会把宿舍转租，开车从南加州到北加州，所有家当只有车里的两个行李箱。他想亲自看看不同组织如何工作，也持续问自己：“What if I’m wrong？”
NEC的经历较顺利，他发表了一篇CVPR论文，也喜欢以华人研究者为主的集体。Adobe则没有做出理想成果，涉及design、crowdsourcing和Mechanical Turk反馈，他对mentor一直有愧疚。这段经历让他学会：没做出东西也不是世界末日。
5. ResNeXt、组织和表征主线
Meta实习最后一个月，何凯明加入FAIR。谢赛宁负责接送、教他使用Linux和cluster；何凯明则带他参加ImageNet Challenge。两人最后做出ResNeXt，获得第二名。第一名是融合既有算法的ensemble，谢赛宁认为ResNeXt是全新的框架，从实质效果看可能更接近第一。
ResNeXt把ResNet的串行结构扩展成多个平行group，在相近计算量下，通过更大的宽度和稀疏性获得更好效果，并显示出与今天MoE某些相似的scaling behavior。名字中的X既表示Next，也包含对谢赛宁贡献的credit。
他由此总结，research从来不是线性发展的，许多重要工作会在最后一个月突然找到方向。Google让他研究视频神经网络的架构和训练流程；DeepMind则让他看到另一种组织方式。他在伦敦做RL和模拟环境中的embodied agent，发现自己不喜欢直接做RL或机器人，但观察到DeepMind如何让bottom-up探索逐渐转入更有组织的top-down执行。Demis会对实习生说，DeepMind最终会成为一家能获得多个诺贝尔奖的公司；当时大家觉得过于ambitious。谢赛宁还看到AlphaFold团队如何从探索性想法逐步变成有组织、重执行的项目。
他的博士论文题目是 Deep Representation Learning with Visual Structure。图像识别、分割、边缘检测、视频识别、动作识别和后期embodied RL像树上的不同枝桠，representation learning才是根。他认为架构、数据和objective共同决定表征：架构像硬件，数据像燃料，objective决定模型被训练去完成什么。
他把representation learning定义为：把原始数据 (x) 映射到一个具有良好性质的空间，使下游任务更容易；这种映射通常是层次化的非线性映射。他之所以愿意使用这个长期title，是因为具体热点会变化，而“怎样形成好的表征”仍是基础且没有解决的问题。
6. FAIR、MoCo与研究方法
2018年毕业求职时，他没有认真考虑教职，因为五次实习和分散项目不符合传统轨道。他面试过OpenAI，在小黑屋里待了五六个小时，用铅笔在A4纸上解题，最后获得offer，但选择了FAIR。何凯明、Yann LeCun和Ross Girshick是他当时心中的计算机视觉“三驾马车”。FAIR当时更像学术机构，也更开放。
FAIR的job talk中，他因不知道学术界45至50分钟报告的惯例，只讲了半小时。后来何凯明告诉他，研究员觉得这很不寻常，但也开玩笑说以后半小时讲完可以节省大家时间。他仍成为FAIR较早招收的fresh PhD之一。
在FAIR，他与何凯明一起做MoCo。此前视觉自监督学习有旋转预测、上色、遮挡重建等大量pretext task，但结果通常比ImageNet监督预训练低约15到20个百分点。MoCo沿着CPC、Memory Bank和更早的metric learning积累，把对比学习真正做成了有效框架。何凯明主导了这条路线，谢赛宁强调不能把集体演化出的工作写成个人神话。
何凯明给他的影响包括专注、research taste和增加输入。他会把大量mental cycle分配给一个问题，通过阅读、讨论和实验抽丝剥茧地找出真正重要的联系。谢赛宁对学生的建议是：先有general direction，再给自己至少一到两个月探索，复现baseline、改代码、推公式、读论文，寻找signal，而不是坐在那里凭空想idea。
成功和失败都能提供信息，最糟糕的是结果不好也不坏、没有信号。探索中发现的idea才真正属于研究者。一个理想的项目可能用一到两个月探索，两到三个月scale up和补实验，再用一到两个月写paper；最好的项目往往在最后才pivot。研究不是从预先确定的A点直线到B点，而是在过程中寻找gradient。
他引用Bill Freeman关于职业影响的非线性曲线：差的工作、还不错的工作影响都很小，真正出色的代表作影响会突然上升。因此研究更像“无限游戏”，不必每次成功，一生能成功一次已经很重要。
7. MAE、基础设施与research taste
MoCo经过V1、V2、V3并逐步扩大规模，表征在一些任务上超过ImageNet监督预训练，团队一度以为自监督只要继续scale up就会有光明未来，但这一预期没有完全实现。于是他们转向Masked Autoencoder（MAE），通过遮挡和重建学习表征。MAE与对比学习性质不同：linear probing可能稍弱，但end-to-end fine-tuning更好。它们没有失败，却没有达到LLM式的影响力；自监督后来也被拓展到3D、point cloud、medical imaging和robotics。
FAIR曾在Google Cloud上租用大约5000个TPU core，生态和基础设施很难用。何凯明从头搭建了一套TPU infrastructure，使后续MoCo、MAE和DiT等工作能够运行。谢赛宁从中学到，research上限经常取决于baseline和基础设施的质量。弱baseline可能制造虚假提升；只有把baseline做到足够强，后续提升才更可信。Faster R-CNN、Mask R-CNN和Focal Loss等工作也建立在长期基础设施和code base之上。
FAIR实习生的第一课甚至是Excel。研究团队用spreadsheet跟踪实验，提前预测每个结果，再根据实际结果产生新的gradient。实验太少会没有信号，无差别跑满算力也只是把结果dump进表格。负向结果同样有价值：性能下降10个点可能提示相反方向，最危险的是性能停在原地。
何凯明也影响了他的写作和审美。论文应是给别人使用的沟通界面，不只是给作者自己看的文件；表格、文字、标点和排版都应帮助读者理解核心。他还送给谢赛宁《金刚经》，后者把“凡所有相，皆是虚妄”理解为：论文的形式、指标和叙事不等于问题本体，研究者应穿透表象追问实质。research taste不仅是选题能力，也包括判断什么重要、如何表达以及是否受短期fame和acceptance牵着走。
8. ConvNeXt、DiT与Cambrian
ConvNeXt来自对“Vision Transformer最重要的是self-attention”的质疑。谢赛宁与刘壮通过大量控制变量和ablation发现，宏观、微观的architecture design可能比attention本身更关键。论文题目 A ConvNet for the 2020s 由何凯明提出，手工绘制的结构演化图后来被很多论文引用。
FAIR后期，ChatGPT和OpenAI的发展让组织开始频繁讨论未来一两年要做什么。谢赛宁认为，持续数周的research alignment meeting无法替代bottom-up探索，FAIR的focus也逐渐不再完全是research，这是他离开的原因之一。
DiT最初不是为了做DiT，而是想研究diffusion model学到的representation。团队使用ViT来与其他系统比较，发现它比U-Net更简单、稳定、efficient和scalable，于是在最后一个月转向架构本身。论文投CVPR时因novelty不足被拒，团队几乎不改内容转投其他会议后被接收，再次显示审稿具有随机性。DiT完整工作是在FAIR完成的，但论文最后只署了NYU和Berkeley，谢赛宁说其中涉及离职和legal原因。
DiT之后，团队又把Flow Matching拓展到Transformer setting，形成SiT。反复拒稿让他逐渐对短期评价免疫，并用Taleb的“反脆弱”描述研究：如果shock带来的长期收益大于损失，系统不只是承受打击，而会变强。DiT和SiT后来成为其他研究者可以继续构建的baseline。
Cambrian系列以寒武纪命名，提醒人们视觉可能是生命智能演化的起点。谢赛宁把5.38亿年压缩成24小时，语言、抽象思维和符号推理只出现在最后约8到10秒。他不是要否定语言，而是反对把人类最近才形成的能力当作全部智能。
S*3讨论视觉encoder，认为CLIP可能受语言shortcut影响；名字来自库布里克《2001太空漫游》中的概念。Cambrian继续研究数据构成、visual representation和视觉架构，但不改动LLM部分，以便隔离视觉侧贡献。Cambrian-S进一步关注视频、super sensing、空间智能和世界模型的阶梯。纽约街头拍摄的短片不是宣传，而是尝试展示真实智能体如何接收连续视觉流、感知空间和因果变化。
9. NYU、学术关系与信用
谢赛宁从FAIR来到NYU，杨立昆常说自己三次recruit他：第一次是FAIR，第二次是NYU，第三次是AMI Labs。NYU的Center for Data Science由杨立昆十几年前牵头建立，独立于传统计算机系和数学系，通过开放的玻璃办公室、跨学科空间和AI人才，把物理、化学、数学、统计、商学院与计算机连接起来。这种组织形式后来被更多学校采用。
李飞飞对他的影响主要是定义问题。ImageNet不只是一个大数据集；在2011、2012年前后，图像分类本身还不是一个被清晰定义的问题。她建立了playground并设定议程，使深度学习可以在清晰目标上发展。谢赛宁与她合作了Thinking Space和Cambrian-S，希望学习这种定义问题、建立方向的能力。
他不认为自己通过某种技巧进入了“AI核心圈”。在他看来，研究问题相近的人最终会自然汇流，大家都关心视觉、表征和智能的基础问题。外部看他的选择有逻辑，内部却常常是by design的无序：无法真正优化一个预设结果，只能在节点上选择最想做的事情和最想共事的人。
他把科学共同体看成一个graph：老师、学生、同事相互塑造，也可能由学生反过来影响老师。论文首先不是为了制造个人名望，而是把knowledge share出去，让读者看完后有事情可做。他对“impact”一词有抵触，倾向于先理解问题，再把理解传递给别人，让“地球上的智能总量”增加。
他反对的是把团队成果包装成负责人个人fame，而不是传播研究本身。负责人不是一作时，媒体更应说明工作解决了什么问题，并给真正做出工作的学生visibility。他允许在X上凝练和解释工作，但不希望宣传变成“某某团队”或个人明星叙事。
10. LLM、视觉与世界模型
谢赛宁说，LLM不会死亡，但会逐渐凋零，成为有价值的工具和communication interface，却不是世界模型大厦的地基。语言是人类文明几千年积累后上传到书籍和互联网的知识，免费不等于没有监督；人类已经预先做了大量选择、抽象和标注。
“我有一杯水，杯子掉地上碎了”适合沟通结果，却没有描述杯子如何破裂、遵循什么动力学。语言高效，也因此丢弃了世界的大量结构。谢赛宁因此担心语言成为视觉和表征的shortcut：它可能让benchmark变好，却阻止系统学习自身的世界结构。
他并不因视觉从AI中心退到边缘而沮丧，反而感谢LLM推动了多模态。问题是，一些多模态任务实际上主要靠语言解决，视觉只提供少量context。杨立昆把语言模型比作拐杖：它让系统可以走，但如果视觉这条腿没有长好，系统仍无法在真实世界中奔跑。
他所谓“真实智能”，不是说数字空间能力没有价值，而是强调与真实世界交互。LLM擅长事实知识、法律、教育、总结和数字空间任务；传感器建模、连续环境、行动后果与机器人则需要另一类智能。他希望先解决机器人大脑和表征，再通过合作完成机器人闭环。
V*是他在多模态系统中尝试构建视觉System 2的工作。人被问到旁边垃圾桶的颜色时，不会直接凭语言回答，而会先寻找、定位并识别目标；系统也需要在test time进行视觉搜索和推理。谢赛宁说，这项工作早于test-time scaling成为流行词，并建立了benchmark；他曾把工作和benchmark介绍给Alex Kirillov与Bowen，后来OpenAI发布的Thinking with Images中出现了相近的例子和benchmark。对他而言，这既说明学校研究可能影响工业系统，也暴露了工业研究的credit assignment越来越不清晰。
REPA把Deeply-Supervised Nets式的思想重新接回生成模型：除了顶层diffusion loss，还让中间表征与外部自监督模型对齐。Representation Autoencoders（RAE）则尝试把强表征作为生成模型的encoder或foundation。谢赛宁引用马毅关于高维的鼓励：kernel method和Transformer的up-projection都利用升维让问题更容易处理。他的核心bet是，足够好的表征可能统一语言、像素和action，但这是未来判断，不是已被证明的事实。
11. 世界模型的定义与训练难题
谢赛宁采用的基础定义是：给定系统或环境状态 (s_t)，再给定action或intervention (a_t)，学习函数 (f)，预测下一状态 (s_{t+1})。世界模型的价值不在生成漂亮画面，而在预测行动后果、辅助planning和决策。这个思想并不新：Kenneth Craik在1943年讨论过人的内部世界模型，Model Predictive Control会对动作序列进行roll out，Rich Sutton的Dyna也区分了reactive policy与model-based policy。
State不是世界的全量复制，而是完成任务所需的最小信息。对访谈房间而言，若只需聊天，不必记录每一处纹理、声波和光照；飞机动力学也不会从分子碰撞开始模拟，而会用流体力学等更高层抽象。怎样选出足以预测和决策的state，正是representation learning的问题。
他认为当前LLM的安全和可控性主要依赖fine-tuning与post-training，告诉模型什么能说、什么不能说。更强的世界模型应能在inference时预测行动后果，再叠加external constraints。例如机器人拿刀切菜时，应理解刀转向人会造成什么后果，而不是只记住大量“不要伤人”的语言样例。
他区分了几类方向：Sora、Veo、Genie、Runway和Luma更接近world simulator，强调视频一致性、长度和控制；李飞飞的World Labs更强调显式3D空间表示，谢赛宁提到Autodesk约2亿美元投资这一例子，说明可验证的空间资产对设计和CAD等场景有价值；AMI Labs想做的更像predictive brain，重点是表征、预测、规划和决策。
LLM不是世界模型的替代物，也不是无关紧要的东西。它提供世界知识，是重要元素，但语言接口通常带着明确意图，而人的世界模型很多时候在background中运行。视频生成比单纯语言更接近世界，因为它要建模哪些现象更可能发生，但像素仍可能只是给人看的接口，真正的世界模型不必以生成视频为核心。
12. 数据、产品和真实世界
谢赛宁把世界模型的数据问题称作最大的bet之一：过去是“download internet”，未来更像“download human”。幼儿接收的连续视觉信息可能极其庞大；他还提到，所有大模型训练数据的量级可能只相当于YouTube上传的约30分钟视频。这个比较是他的量级判断，不是精确测量。
第一阶段可能仍从YouTube等互联网视频开始，但涉及版权和Terms of Service，平台会封禁爬虫IP。更重要的数据可能来自飞机引擎、工厂、医院、农场等传感器系统。例如飞机引擎有约1000个传感器，可以用于学习设计缺陷和long-tail错误；这些垂直世界模型最好建立在通用世界模型预训练之上。
他认为产品形态可能比数据更难。第一个出口是always-on wearable：持续记录心率、睡眠、压力、用药、饮食和视觉流，再将原始信号转化为“需要休息”“连续睡眠不好”或“今天应该休息一天”等状态判断。AI眼镜若只是接摄像头和LLM，仍然是带摄像头的ChatGPT；真正的价值在于长期理解生活。
另一个出口是机器人。春晚上的机器人表演说明硬件和运动控制进步很快，但离进入家庭、照顾老人和承担家务还很远。谢赛宁把它称为预训练的下半场：输入可能是视频及其他连续、高维、有噪声的信号，输出是什么仍是research问题。
13. 创业与AMI Labs
谢赛宁在NYU拥有研究自由，却担心长期受资源限制，陷入“中等论文陷阱”：能持续发表不错的论文，却无法把想法推成新的breakthrough。一次mentor建议他去问杨立昆，杨立昆随后在one-on-one中主动说，自己已经决定离开Meta创业，且想做的事情与谢赛宁高度一致。谢赛宁大约纠结了一周，主要考虑研究方向、共事关系、学校 affiliation和自己是否还有足够好的精神状态，而不是单纯比较短期收入。
他认为大厂的benchmark和product cycle压缩了research空间，甚至同一公司里的research和product也可能彼此隔绝。AMI Labs想建立一个更适合定义问题、做长期探索的组织。公司不是纯research lab，也不是封闭式大模型公司；谢赛宁估计超过50%像new lab，其中约60%-70%是组织化执行，另有约20%-30%保留自由探索。
他把模式称为“反向OpenAI”：正向路径是从互联网下载数据、训练Transformer、形成智能，再推向To C或To B；反向路径则从真实世界伙伴的问题和数据出发，模型先创造局部价值，再产生新数据反哺模型。世界模型需要这个世界，真实世界也需要能够处理物理问题的模型。
AMI Labs计划设巴黎总部以及纽约、蒙特利尔、新加坡办公室，希望形成一个跨地区联盟。谢赛宁用Visa和Mastercard的故事作比喻：Bank of America先建立Visa，小银行后来联合建立Mastercard。AMI Labs未必照搬这个商业模式，但希望让拥有具体问题和数据的机构参与建设，避免世界模型完全由少数平台垄断。开放不意味着所有research都开源，它仍是一家严肃的创业公司。
团队初始约25人，共有6位co-founder；谢赛宁是co-founder兼Chief Science Officer，杨立昆是executive chairman，团队还有CEO、COO、VP of World Model以及负责research与product创新衔接的角色。谢赛宁说，融资目标可能约10亿美元，但这是不确定预测；已明确口述的估值是30亿欧元pre-money。他还说有人放弃OpenAI几千万美元的未归属股票、有人放弃Meta约1500万至2000万美元的offer，以此说明团队主要由mission驱动，而不是短期现金驱动。
14. 杨立昆、JEPA与“普通人”
谢赛宁两次拒绝Ilya。2018年，他放弃OpenAI offer，选择FAIR；2024年7月SSI成立后，Ilya再次联系他。两人讨论了如何赋予未来AI爱的能力，以及多模态、视觉和感知模型。Ilya认为这部分当时已经解决得很好，谢赛宁判断SSI至少当时更偏语言路线，因此没有加入。他并不把两人路线说成敌对关系，而是引用“兄弟爬山，各自努力”。
他经历了“质疑JEPA、理解JEPA、成为JEPA”三个阶段。最初把JEPA看作又一个自监督算法，后来认为它更像一套认知架构，包含world understanding、prediction和planning。JEPA不是唯一固定方法，而是一片允许多种方法航行的海洋，LLM也可以是其中一部分。
谢赛宁欣赏杨立昆的科学完整性和世界观。杨立昆不是永远拒绝改变，而是愿意被事实改变，不愿仅因组织或舆论要求就改变立场。他用帆船比喻管理：信任每个人完成自己的工作，出现偏航时尽早校正。谢赛宁希望自己在公司里承担science角色，不把自己包装成一个已经确定正确的CEO。
关于AGI，他更愿意放弃人类自大。人的智能本身受感官、身体和神经带宽限制，不是脱离环境的纯general intelligence。不同动物有不同智能，黑猩猩、鸟、狗和蝙蝠都展示出不同形式的记忆、预测、交流或感知。Rich Sutton让他意识到，造出一只松鼠的智能可能比写代码、拿IMO金牌或去火星更难，因为松鼠必须在真实世界中生存，有goal、intrinsic reward、饥饿、情绪和社群行为。
他仍希望最终做出接近人类的智能，但更现实的检验是：能否先拥有一个可靠、足够通用的家庭机器人？一个12岁孩子基本能做各种家务，而当前机器人还做不到。
谢赛宁喜欢Liverpool和Jürgen Klopp。相对于Mourinho的“The Special One”，Klopp自称“The Normal One”，并把自己看作给团队供电的电池。谢赛宁也希望成为这样的“普通人”：研究大多数时候在暗处摸索，真正做成事情的快乐可能只有5%-10%，但团队可以一起fail、一起pivot。他把创业比作滑雪：害怕时向后仰会失控，只有把肩膀朝向山下，才可能获得控制。
他每天步行经过Washington Square Park，看见弹琴、跳舞、推婴儿车、下棋和发呆的人，会重新意识到多数人并不关心AI，却可能被AI改变生活。命运能否预测？他的回答是：资源不够，可能需要把地球、甚至整个宇宙当作计算机，最后答案也许仍然只是42。