摘要

Modal 的核心押注是：稀缺的 AI 算力最终会变成一个共享、按使用量计费的公用基础设施，池中有数千块 GPU 和 CPU，通常几秒内就能调度出 100 块 GPU。 Bernhardsson 认为，面对波动的推理需求，初创公司不应被迫签下长期算力承诺；把不同客户的工作负载集中起来，可以将闲置产能风险和服务降级问题转化为由 Modal 承担的容量管理问题。
产品优势来自构建云原生底座，而不是单靠 Docker 和 Kubernetes。 为了让云端开发“几乎和本地开发一样好用”，Modal 用前两年打造了文件系统、调度器和容器运行时，在安全执行定制 Python 代码的同时，尽量缩短冷启动时间。
推理是 Modal 意外跑出来的杀手级应用，但扩张逻辑覆盖预处理、短周期实验训练、推理和反馈管道。 Stable Diffusion 带来了早期增长，如今客户已在 Modal 上处理数 PB 视频，在其他地方训练，再回到 Modal 做推理；Bernhardsson 说，大规模训练是“完全不同的市场”。
Modal 的多租户效率，与企业因数据引力、云积分、延迟要求和安全审查而深度绑定 AWS、Azure 或 GCP 之间，存在战略张力。 Bernhardsson 承认这是挑战，但他看到的路径与云计算和 Snowflake 相似：安全从网络层转向应用层，带宽成本下降，R2 等选项则提供零出口费用。
对于差异化依赖模型质量的公司，Bernhardsson 认为，一个明显更优的专有模型本身就是技术护城河。 如果一家公司和所有竞争对手使用同一个现成模型，就必须从其他地方寻找防御性；在音频、视频和图像产品上，他的判断更直接：“某种程度上，你必须训练自己的模型。”
AI 编程可能扩大软件就业，因为每次生产力提升都会释放更多潜在需求，而不是满足一个固定规模的市场。 Bernhardsson 将 AI 与编译器、高级语言、数据库和云基础设施相提并论：大约 40 年里，工程师每十年都变得“高效 10 倍”，但需求仍在持续上升。
AI 原生机会可能出现在传统模型服务之外，尤其是存储、科学计算和生成式媒体领域。 Bernhardsson 认为，AI 原生存储可能还需要 5–10 年才能定型；他看到计算生物学和医学影像正在 Modal 上获得进展，并称 Suno 是一款“5 年前不可能存在”的产品。

精读

1. Modal 重构云基础设施栈，让远程算力用起来像本地

Bernhardsson 将 Modal 的起点追溯到 2008 年在 Spotify 开始的基础设施工作。当时他用了 7 年搭建音乐推荐系统，所处的数据技术栈仍不成熟。他列举的项目包括 Luigi——“如今基本没人用了”——以及 Annoy，这个向量数据库“曾经短暂流行过”。
在 Better.com 担任 CTO、深入思考开发者生产力之后，疫情期间他又回到一个反复出现的问题：云基础设施功能强大，但“用起来其实相当令人沮丧”。产品问题因此变成：“如果能让云端开发几乎和本地开发一样好用，会怎样？”尤其要改善快速反馈闭环。
这一目标意味着 Docker 和 Kubernetes 不能直接充当完整底座。Modal 用前两年左右自建文件系统、调度器和容器运行时，搭出了快速启动容器、将普通 Python 函数转化为云端无服务器工作负载所需的整套机制。

2. 共享 GPU 池把不可预测的推理需求变成公用服务

Modal 运营着一个包含数千块 GPU 和 CPU 的多租户算力池；Bernhardsson 表示，需要 100 块 GPU 的客户通常几秒内就能拿到。其经济价值在于把容量规划变成一种服务：客户无需预留算力，只在容器实际运行时付费。
Bernhardsson 认为，主流 GPU 采购方式存在结构性问题。云计算最初承诺的是，开发者可以即时获得所需的任何算力；但 GPU 短缺却把初创公司推向长期承诺——“从根本上说……这不是初创公司应该采用的方式”。
Gil 指出，训练团队可以搭建一个超大集群，运行几个月，然后按他的说法，产出代表互联网规模语料的“一个文件”。Bernhardsson 将其与推理区分开来：推理需求高度波动，运营商要么超额配置、为闲置 GPU 买单，要么配置不足、导致服务质量下降。
Modal 过去主要聚焦推理，最初由 Stable Diffusion 带动，后来扩展到图像、视频、音频和音乐工作负载。Bernhardsson 正在推进“更短、非常突发”的实验性训练任务，让它们受益于弹性容量；但他同时表示，大规模训练是“完全不同的市场”。

3. 平台逻辑延伸至整个机器学习生命周期

Bernhardsson 瞄准的是搭建定制模型和工作流的“高代码”机器学习工程师。最终的平台将覆盖数据预处理、训练、推理、反馈闭环、在线排序、数据管道和夜间批处理任务，而不只是一个托管语言模型的接口。
现有客户使用方式已经显露出这一扩张方向：一家训练视频模型的客户可能先在 Modal 上处理数 PB 视频，用 GPU 做特征提取，再去别处训练，最后回到 Modal 做推理。Modal 目前还没有训练产品，但 Bernhardsson 说，增加这一能力“非常合理”。
差异化建立在两项选择上：成为“云计算最大主义者”，共享多租户算力；以及安全运行客户的定制代码。竞争对手可以专注推理或 LLM，但 Modal 选择解决更棘手的冷启动、隔离、调度和容器化问题，以保持通用性。

4. 多租户模式必须穿越企业的数据引力

Gil 反驳称，企业已经把数据存储在 AWS、Azure 或 GCP 上，拥有云市场积分，也完成了安全审查。把工作负载发送到另一家服务商，可能带来延迟、带宽和合规摩擦；对于运行在多个超大规模云平台上的组织而言，问题尤其明显。
Bernhardsson 承认这是“一个挑战”，但将这种怀疑与自己在 2008–2009 年对云计算的反应相提并论：“为什么有人要把算力放进别人的电脑里？”2012 年前后，他也曾认为 Snowflake 的基础设施即服务模式“疯狂”，直到 Snowflake 成为一家规模庞大的上市公司。
他的反驳更多是方向性的，而非绝对判断：安全正在从网络层转向应用层，带宽成本会下降，数据传输会被尽量减少，R2 则提供零出口费用。这些顺风因素之所以重要，是因为他认为，动态切分大型算力池能够创造显著的容量优势。

5. 模型、存储与软件需求仍是开放前沿

Bernhardsson 认为，需求已经部分转向他所谓的“专有开源模型”，Flux 正受到关注。音频仍然“远未被充分探索”，但他表示：“我不认为我们已经看到真正酷的东西。”
对于向量数据库与带 pgvector 的 Postgres 之争，他坦言：“我不一定知道。”更关键的问题在于，AI 原生存储是否应该自行嵌入文本、图像和视频，而不是通过传统数据库的写入—读取接口接收预计算向量；他认为，这个方向可能还需要 5–10 年才能定型。
Bernhardsson 还在思考，如果训练任务对带宽的依赖降低，是否就能连接不同数据中心的 GPU，从而减少对配备超大规模 InfiniBand 的设施的依赖。另一方面，Modal 已看到计算生物学需求，包括对数百万张自动化电子显微镜图像进行计算机视觉分析；不过他谨慎地将自己的描述限定为“有点浮于表面”。
Gil 探讨了深度学习在模拟、湍流、天气和 HPC 中的应用；Bernhardsson 认为气象学理论上很有前景，但没有直接认可更广泛的物理学复兴。对人类影响最清晰的例子是 Suno：AI 音乐仍带有某种“恐怖谷”感，但每一代产品都在进步，而这款产品代表了生成式 AI 新近创造出的可能性。
在编程问题上，Bernhardsson 不接受固定需求的分析框架。编译器、高级语言、数据库和云工具一次次放大生产力，但“软件存在大量潜在需求”，因此软件工程师数量仍在增加；AI 可能只是这一长期趋势中的又一步，而非例外。

Tyler Cowen — AI进步的第一大瓶颈是人类 Francois Chollet：ARC 反思——NeurIPS 2024