摘要

Liquid AI 的商业判断是，边缘硬件是一个尚未被充分开发的推理市场，而不只是云端 AI 的低价复制品。 Hasani 估算，仅智能手机每年的市场规模就约为5000亿美元；Labenz 则将手机与笔记本电脑合计视为每年出货约1万亿美元算力的市场，而节目开场采用的数字约为8000亿美元。能源限制、隐私、延迟和工作负载经济性，都支持 Liquid 的目标：在已经存在于口袋、汽车、工厂及其他设备中的多样化硬件之上，“构建一层智能”。
Liquid 的核心技术发现是，最佳架构取决于规模、专业化程度和硬件约束。 Attention 仍是最丰富、结构约束最少的机制，在前沿规模上或许值得承担其 (n^2) 成本；较小或更窄的模型则能从递归、卷积、门控或领域特定动力学中受益。“网络越大，架构就可以越不结构化”（“The larger the network becomes, the more unstructured you can make it”）；反过来，受约束系统可以牺牲通用性，换取显著更高的速度和内存效率。
Liquid 的科学脉络始于受生物学启发的微分方程，并用仅几十个神经元实现了令人瞩目的控制系统。 Liquid 网络用12个神经元让小车完成平行泊车，用19个神经元驾驶小车，用30个神经元操控无人机；后续工作又扩展到喷气机和其他预测系统。它们的优势在于输入依赖的动力学和分布外适应能力，而不是魔法或持续学习：“天下没有免费的午餐”（“There’s no free lunch”），训练好的参数仍保持固定。
Liquid 的自动化基础模型设计系统，把架构选择转化为一个以硬件为基础的搜索问题。 AFMD 用进化策略评估约50–100种算子及其混合组合，将实际目标处理器、内存和延迟约束，以及约100项下游基准纳入目标，而不是只看困惑度。在覆盖约1000万至720亿参数的搜索后，结论是“必须把决定权交给算法”（“You have to give it to the algorithms”），即使这意味着算法会舍弃 Liquid 创始人偏好的机制。
LFM2 胜出的 CPU 架构出人意料地简单：70–80%为双门控1D卷积层，另加少量 Attention。 门控让计算依赖输入；卷积则提供低成本、低结构约束的算子，以较低的内存和二次复杂度成本替代大部分 Attention，而不需要许多替代架构中复杂的人工调参机制。Hasani 对搜索结果的直白总结是，当额外门控和人工选择的特征无法通过完整效率目标时，“这一切都必须删掉”（“All of this has to go away”）。
商业验证表明，Liquid 已经不再只是一次架构实验。 Hasani 表示，Liquid 在 Hugging Face 上每周下载量超过100万，在美国机构中排名第5，仅次于 Google、Meta、Microsoft 和 NVIDIA；超过50个模型实例已被企业使用，而公司内部只有约1000块GPU。Shopify 已在商业工作负载中将 Liquid 模型投入生产，Mercedes-Benz 签署了部署约600MB车载音频和视觉系统的合同；Labenz 还发现，10亿参数的 Apollo 模型在 iPhone 上运行足够快，可以用于私密的本地文档搜索和分类。
芯片厂商可能需要掌握一层可调节的智能，而不能止步于芯片和内核。 Liquid 正与 AMD、Qualcomm 等公司围绕处理器路线图合作；Hasani 则将 NVIDIA 的 Nemotron 项目视为硬件优化模型能够改善企业价值主张的证据。Labenz 质疑这是否会造成过度的模型—硬件耦合；Hasani 的回答基本是：“为什么要改模型？”前提是默认模型足够快、可调节，且不阻碍更广泛的开源生态。
眼下本地 Agent 的机会在于编排，而真正实现每瓦智能的小型化仍需要新的学习范式。 拟议中的本地 LFM2 24B A2B 系统可以路由请求、过滤 PII、调用专用模型，并将困难任务升级到云端；但 Hasani 表示，目前没有任何本地模型在不经过微调的情况下达到前沿质量，未来工具则可能以几十美元至数千美元出头的成本生成生产级模型。长期看，现有架构无法接近大脑约20瓦的效率，因为“智能对我而言是一种涌现属性”，需要能够诱导出多种学习方式的目标，而不只是下一词预测。

精读

1. Liquid 起步：把效率设为目标

Hasani 表示，Liquid AI 的源头是 MIT 持续约10年的研究，公司则在3年半前分拆成立。最初目标是“把尽可能多的智能压缩进最小的算法形态”，默认部署环境是 CPU、NPU 和小型 GPU，而不是数据中心集群。
机器人应用让效率与可靠性无法分割。汽车、无人机或固定翼飞行器很快就会遭遇分布偏移，因此研究问题不是紧凑系统能否在训练数据内插值，而是它们能否把学到的概念带到从未见过的环境中。
这条技术脉络后来扩展成更广泛的使命：在“每一种规模”上构建高效、通用的系统，从物理控制和预测序列延伸到语言、音频、视觉和视频。即使 Liquid 从专用神经回路转向十亿参数基础模型，效率仍是贯穿始终的约束。

2. 300个细胞的蠕虫，启发出12个神经元的自适应控制

2015年，Hasani 与联合创始人 Mathias Lechner 研究 C. elegans，因为这是他们唯一掌握完整神经系统信息的动物；但它约300个细胞就能完成丰富的感知—反应控制。与规模大得多的机器人网络相比，这种差异暗示生物体使用了表达能力更强的计算单元。
蠕虫神经元是渐变式而非脉冲式，因此其行为足够可微，能够与人工神经网络训练衔接。Liquid 的研究人员搭建了由2个、4个、8个，最终扩展到数百个基于微分方程的神经元组成的回路，再用反向传播进行优化。
每个节点都拥有比传统人工神经元更丰富的内部反馈和嵌套非线性。“Liquid”指的是适应性：即使训练完成，系统的动力学仍保持灵活并依赖输入，为应对陌生环境提供更多自由度。
这些演示至今仍是压缩能力最有力的证明：12个神经元让小车完成平行泊车，19个神经元驾驶小车，30个神经元操控无人机。与美国空军及 Boeing 支持的 MIT 博士后项目合作的研究还显示，“少数几个这样的神经元”就能在环境不断变化时控制喷气机。

3. Liquid 动力学增加容量，但不等于持续学习

Labenz 注意到，Hasani 统计的是神经元，而基础模型开发者统计的是参数。对于早期 Liquid 形式，Hasani 给出一个粗略换算：神经元数量乘以7即可估算参数量，因为每个细胞内部包含多个门控和反馈路径。现代 LFM 使用常规参数计数方式，1 billion-parameter LFM 的含义与其他模型相同。
额外容量来自参数量之外的第二条轴——动力学。输入会改变固定系统的演化方式，让小型网络编码更多自适应行为，但部署时训练权重不会更新。因此，Hasani 将 Liquid 的适应性与持续学习区分开来；后者会“持续接收新数据并重新调校自身”。
他举的具体例子是雨水打在自动驾驶汽车摄像头上。场景的底层变量并没有变化，但图像出现了陌生噪声；Liquid 动力学可以作出不同反应，并应用低通滤波。这种响应能力可能提升鲁棒性，但不意味着网络会在行驶过程中学习新的参数。

4. 闭式解去掉求解器，却没有去掉顺序计算

原始方程之所以昂贵，是因为非线性递归很难从顺序执行的标量或向量操作，转化为可并行的张量计算。线性状态空间模型之所以能扩展，正是因为它们可以将动力学并行化，再施加逐点非线性；参数之间的嵌套非线性关系则难以完成这种转换。
Hasani 将这一问题放在一条始于 Louis Lapicque 的1907年膜电位方程、后来延伸至 Hodgkin 和 Huxley 生物模型的脉络中。后者始于1953年，并在1963年获得诺贝尔奖。教科书曾将相关方程组视为没有已知闭式解的问题。
Liquid 团队在2022年前后公布了这样的解，并于当年11月在 Nature Machine Intelligence 发表连续时间闭式解研究。去掉数值求解器后，方程不再需要反复执行近似步骤；在数学上，它们可以在保留非线性特征的同时扩展到大得多的规模。
实际并行能力仍是上限。Hasani 估计，闭式系统可以从数百个神经元扩展到数十万个，甚至100万至1000万个，但由于嵌套非线性，运行时仍然是顺序的。许多系统只需约1–25MB，就能在 CPU 或 Raspberry Pi 上运行；当前的扫描研究则试图在不将其线性化的前提下，实现次二次复杂度加速。

5. 规模决定架构偏置能保留多少

Transformers 在最大规模上胜出，是因为 Attention 和矩阵乘法的结构约束异常少：几乎任意矩阵都可以并行相乘，不会对任务施加很强的先验。Hasani 认为，在数万亿乃至数十万亿参数规模上，Attention 的 (n^2) 成本“可能”确实是实现最丰富能力所必需的。
较小模型处于另一种工作区间。递归、门控、卷积和专用非线性会施加架构偏置；当数据量、参数量、延迟或使用场景受到限制时，这些偏置可以提高学习效率。Hasani 认为，替代架构潜在有用的范围可能高达1000亿，甚至1万亿参数，但这一边界取决于具体工作区间，并非普遍规律。
Labenz 带着“苦涩教训”式的疑问追问：既然如此，原始 Liquid 范式为什么不能简单扩展到数十亿个神经元？Hasani 的答案是，结构化非线性会阻碍高效并行；在前沿规模上，“一旦开始加入哪怕一点偏置”，这种结构就可能变成负担。
最终方向是有条件的，而不是教条式的。如果速度足够重要、可以牺牲部分质量，完全线性的系统可能胜出；如果目标是最大化智能，就应使用偏置最少的架构。真正让中间地带——Attention 混合架构和专用算子——具有商业意义的，是人类面对的资源约束。

6. 小模型以适度算力获得大规模分发

Hasani 表示，Liquid 在 Hugging Face 上的每周下载量已超过100万，在美国下载量中排名第5，仅次于 Google、Meta、Microsoft 和 NVIDIA。与此相对，公司内部只有约1000块GPU，却已有50多个模型实例被企业使用。
Labenz 的亲身测试提供了一个有用的质量边界。Liquid 的 Apollo 应用运行一个10亿参数的混合模型，在 iPhone 上速度足够快，能够私密地搜索和分类本地文档，因此适用于基础工作流；但他明确表示，该模型“距离前沿还很远”。
这并不意味着一款10亿参数的设备模型能够取代最大的云端系统，而是说明，只要速度足够快、隐私得到保障，对于过滤、检索、分类及其他不需要“最复杂智能”的边界明确任务，本地模型可能成为经济上更理性的选择。

7. AFMD 用以硬件为基础的搜索取代架构品味

Liquid 的 Automated Foundation Model Design 系统，即 AFMD，是一个将目标硬件置于闭环中的元学习流程，采用进化策略。其目标在内存消耗、延迟和速度之间进行平衡，同时要求在部署方选定的下游质量标准上不作牺牲。
困惑度并不足够可靠。Liquid 会在约100项基准上评估候选架构，测试它们实际需要完成的应用，并在目标处理器上运行。一个理论上很有吸引力的算子，一旦把内存搬运、内核支持、延迟和客户特定的质量要求放入同一目标函数，就可能落败。
Hasani 将基础模型实验室中的知名研究者称为“架构复仇者联盟”：小团队因为个人实验有效，就会做出影响重大的微调。Liquid 构建 AFMD，既是为了消除这种文化瓶颈，也是为了摆脱创始人自身的偏好。“必须把决定权交给算法，团队里必须有信奉 Bitter Lesson 的人。”
这次搜索涵盖约50–100种 Attention、卷积、递归、状态空间及 Liquid 衍生算子，并将它们组装成混合架构。Liquid 进行了约1000万至720亿参数的扩展研究，反复追问：在特定处理器上，哪一种计算图能以单位内存和延迟换来最高准确率。

8. LFM2 发现，简单的门控卷积可以替代大部分 Attention

针对 CPU 部署，AFMD 收敛出的计算图比创始人预期的更简单。LFM2 约70–80%由无结构约束的1D双门控卷积构成，只保留少量 Attention 层。
主持人对门控的直觉基本正确：先学习一种变换，再让一个更小的机制根据当前输入对其进行调整。Hasani 称之为“一种 Liquid 结构”，因为这一变换不再跨样本固定不变；系统学会了如何根据输入数据改变计算方式。
关键作用发生在学习过程中，而不只是前向传播阶段。穿过输入依赖算子的梯度，会同时教会模型表示动力学和静态参数。Hasani 将这一点与 Liquid-S4 联系起来，并称后者在 Mamba 之前约1年半引入了输入依赖的状态空间模型。
搜索淘汰了 Mamba 风格系统、门控 Delta 网络和线性 Attention 变体中的许多人工调参组件。Hasani 用“这一切都必须删掉”概括最高效架构的要求，最终保留下来的关键增量是双门控卷积。他强调，即使这个门控在100万亿参数规模上是否仍有价值，也还是开放问题。

9. 架构本身优化的是效率，而不是智能

Hasani 对架构研究最强的主张，比“架构创造 AGI”更窄：架构能在不损失质量的情况下提高计算效率。未来的智能还取决于数据表示、记忆、先验、目标和学习算法，尤其是模型如何接收跨越长历史的信息，而不只是预测下一个 token。
他将当前系统描述为大体上的独立同分布“平均机器”，并指出这对写作和序列生成已经产生了可识别的影响。多 Agent 系统和测试时扩展可以弥补部分局限，但他认为，“学习理论本身的定义在规模化时已经失效”，需要更深层的修订。
Labenz 提出，新的学习范式将先行，架构随后再让这些范式变得高效。Hasani 的修正值得保留：架构是“一个组成部分”，而不只是实现层面的事后安排。至于递归自我改进，这是对持续学习研究的新表述，而持续学习本身已经存在数十年。

10. 数据越窄，越应让架构贴近问题本身

生物序列说明了为什么 Attention 并非通用解。它们的词汇表很小，但相关上下文可能跨越“1到1000亿”个元素；在这种长度上，二次复杂度的 Attention 将变得无法承受。纯卷积、状态空间模型、Liquid 网络、并行递归或线性 Attention，都可以利用更简单的字母表和长程结构。
对于纯音频信号变换——语音到语音、噪声到信号——递归系统仍然很强，尤其是在数据有限时。架构反馈提供了有用的先验：“架构越接近数据集的动力学”，学习器仅凭样本需要自行推断的内容就越少。
视频可能需要不同的学习先验。Hasani 指出 diffusion 的成功，同时承认业界仍在争论自回归建模最终能否达到同样的结果。他认为，diffusion 横跨架构与学习算法的边界，难以被强行归入单一类别。
极端延迟和物理仿真会进一步推动专业化。微秒级控制无法承受大型通用计算图，而工厂的化学反应数字孪生则可能天然适合物理信息模型或连续时间微分方程模型。早期 Liquid 网络之所以仍适用于传感器、物理系统和多变量预测序列，正是因为其动力学与数据相匹配。

11. 设备 AI 把闲置硅片转化为第二个推理市场

Liquid 将“设备基础模型”定义为面向数据中心之外处理器的智能；在数据中心内部，其目标则是超低延迟、超长序列、小内存占用和成本敏感型推理等受约束工作负载。每一代开放 LFM 都要在 Liquid 关注的指标上超过上一代，同时不牺牲质量。
Shopify 已在推荐、搜索、商品目录理解和多模态商业等领域将 Liquid 模型投入生产。Hasani 表示，这些模型提升了点击率及其他内部指标，使架构叙事最终落到客户结果，而不只是公开基准上。
Mercedes-Benz 的合同将这一判断带出数据中心：Liquid 模型将用于车内音频和视觉智能。Hasani 表示，这套约600MB的系统可以装载在小型车载处理器上，同时提供可比大型音频系统的语音质量。
市场规模数字因口径不同而有所差异，但方向一致。Hasani 将智能手机市场规模定在约5000亿美元/年；Labenz 则将手机与笔记本电脑合计视为每年约1万亿美元的算力，并称这是“大量黑暗算力”。本地推理还可以节约稀缺能源，将前沿云模型留给真正需要它们的问题。

12. 硬件厂商需要位于内核之上的智能层

异构设备使优化变成多层问题。开放 GPU 内核为自动化内核工程提供了基础材料，但专有 NPU 对设计暴露更少，可能需要单独进行以硬件为基础的搜索。仅矩阵乘法就可能有数十种实现，具体取决于缓存、内存以及 CPU/GPU 之间的工作负载分配。
Liquid 会在预训练前搜索架构，之后再进行量化感知训练、位宽调整、内核优化和处理器特定调度等事后工作。由于完整模型运行一次可能耗资数百万美元，目标是在投入这笔训练预算前，预判模型的推理行为。
Liquid 与 AMD、Qualcomm 及其他半导体公司的合作，已延伸到产品路线图和下一代 ASIC 的潜在选择。Hasani 认为，内核优化正变得越来越自动化；硬件厂商应向上进入天然适配自身硅片的“智能层”，并将 NVIDIA 的 Nemotron 工作视为最强的商业案例。
Labenz 追问，紧密优化是否会带来模型难以替换的垂直整合未来。Hasani 用“为什么要改模型？”回应，主张提供快速、可调节的默认模型，同时仍认为厂商应针对开源模型进行优化。他还认为，眼镜“可能”成为重要的计算媒介，最终或许会与笔记本电脑竞争。

13. 本地 Agent 将先路由私密工作，再挑战前沿能力

Liquid 的本地协作演示使用 LFM2 24B A2B——一款24B总参数、其中2B处于激活状态的混合专家模型——展示消费级硬件能够承载什么。Hasani 明确表示，开箱即用的模型目前还无法以前沿质量完成所有请求的工作流：“今天没有任何本地模型达到那个水平。”
他设想中的本地计算机不是一个无所不能的模型，而是一个编排器：将困难且不敏感的任务路由至云端系统；调用小型本地模型处理边界明确的工作；在数据传输前过滤个人身份信息；并协调工具和服务。“那个路由器就是计算机。”
对于 Labenz 计划构建的5年个人数据库，真正值得调优的主要是编排器：它必须知道该调用哪种本地搜索、隐私过滤器、专用模型或云端模型，并识别自身短板。今天这需要微调和生产环境检查；如果没有自动化调优平台，云端前沿 Agent 无法直接制造出最终可用的本地模型。
Liquid 正在搭建这样的平台，并希望“未来几个月内”公布。Hasani 估计，生产级定制的成本为几十美元至数千美元出头，而不是数万美元。用户可以通过一次终端调用启动微调，系统还可能使用合成数据，从而不必直接检查用户的私有语料库。

14. 达到人类级每瓦智能，需要新的学习方式

Hasani 不认为 Transformers 或当今的替代架构能够接近人脑约20瓦功耗下的智能水平。比较还必须考虑生物进化：人类并不需要读完整个互联网才能推理，但人类继承的机制来自极其漫长且耗能巨大的设计过程。
下一词预测意外产生了上下文学习这一“涌现属性”；Hasani 将其描述为一种模糊的最小二乘算法，或“以一种模糊的方式进行梯度下降”。人类似乎拥有许多这样的内部程序：从例子中学习、强化学习、心理模拟、贝叶斯推理，以及在不同情境下被触发的其他机制。
他怀疑，把基于轨迹的强化学习明确强行嵌入现有系统就足够了。更深层的研究问题，是找到一组基础目标——下一词预测只是其中之一——让强化、好奇心和其他学习算法自行涌现，同时让最终部署系统以有限能耗运行。
Hasani 以一名仍在训练实验、同时担任 CEO 的科学家身份结束讨论。如今 Agent 让更多人能够尝试前沿研究，但要实现这一机会，必须重新审视我们对于工作、自动化和 Agent 大军的偏见。他的积极愿景是，让社会更多回到科学的原初目的：出于好奇心，通过理解世界来组织自身。

开源模型 vs 前沿模型：究竟谁赢？| 每位工程师都将需要的10万美元Token预算 AI主权之战、Palantir-Nvidia交易、美国最高法院出生公民权裁决、Newsom的加州预算谎言