先锋 趋势 方法 投研 作者
Databricks:从数据到决策【Business Breakdowns 第238期】
返回节目精读

Databricks:从数据到决策【Business Breakdowns 第238期】

摘要

  • 主持人认为,相比 Stripe 等公司,Databricks 对普通公众更神秘;Tu 给出的最简框架是大规模数据处理:在甚至无法计算平均值之前,先花掉“80%至90%的时间”统一混乱数据,而当对象扩展到非结构化日志、视频和点击流时,这种痛点会被成倍放大。 每个热门应用场景——欺诈检测、电影推荐、定价、库存管理——最终都回到同一件事:先通过数据管道让原始数据变得可分析,再喂给建立在其上的机器学习模型。
  • Databricks 的创始基因来自2009年前后 Berkeley AMPLab 的7位学者,他们押注了3件事——“云计算会做大、数据会做大、开源会是构建企业的好方式”——而“回头看,这3个判断都押对了”。 他们的局外人身份反而成为优势:由于不了解 Red Hat 的服务模式先例,他们从第一性原理出发,认为开源变现的关键是做出“值得付费的更好产品”,即便社区因此觉得被背叛,也“得愿意当一个反派”。
  • 围绕 WCM 投资,Databricks 证明自己能够从数据工程师/数据科学家用户群跨入 Snowflake 的数据仓库腹地:今年早些时候发布的 SQL 产品正奔向10亿美元收入规模,远超 Snowflake 反向切入数据工程的进展。 Tu 认为,从多产品扩展到多用户画像本身就是“巨大的 TAM 扩张”,也是 Databricks“成功成为真正平台”的证明。
  • Databricks 当前规模已超过40亿美元 ARR,其中约10亿美元与 AI 相关,净美元扩张率超过140%,自由现金流为正,且商业模式资本开支轻:核心数据处理工作负载以 CPU 为主,算力密集度不像 AI 原生公司那样高,但模型服务仍会带来一定 GPU 成本。 AI 顺风被认为是持久驱动而非脉冲式行情:“没有数据战略,就没有 AI 战略”,这一增长动力“不取决于我们是否实现 AGI”。
  • 营销和品类创造是 Databricks 被低估的优势:“lakehouse”这个命名最初被嘲讽为“聪明过头”,如今却已成为一个明确而真实、行业观察者普遍认可的品类;Delta 发布时还送出了印有“Delta Lake is Spark on ACID”的 T 恤。 战略定价同样体现出这种判断力:治理等战略产品可以借用“地址簿”逻辑免费提供,而基于开放格式拒绝对存储收费,则从架构上削弱了 Snowflake“把数据搬进来”的模式。
  • 反复进行数十亿美元融资并不是为了补贴运营,资金主要用于抵消员工股权薪酬,以及在提供 RSU 流动性、触发 IRS 纳税后支付税款;这也是“私人版 MAG 7”格局的一部分,如今上市已是“可自主选择的决定”。 Tu 称 IPO 时点是“真正的万亿美元问题”,并指出,在2022年成长科技周期中继续保持私有,让 Databricks 能够以公开市场同行无法做到的方式“继续打进攻”。
  • 关键风险在于能否在规模化后保持研发执行力——“这个领域已经有公司因为分心而掉队”——以及能否用 Agent Bricks 和 Lakebase 重演 lakehouse 在代理式 AI 上的品类创造,而这一品类仍在形成。 Tu 的核心教训是带着明确取舍的长期主义:即便可能放弃短期变现,也始终不推出本地部署产品,因为“每一次更加短期导向的决策,最终都会在未来某个时点暴露出某种脆弱性”。

精读

1. Databricks 去魅:工业级规模的 Excel 痛点

  • Tu 对这家应用场景听起来彼此无关的公司的开场框架是:“推荐电影、制定定价策略、检测欺诈”背后其实是同一个问题:几乎人人都见过一份表格,价格放在错误的列里、货币混在一起、部分数字还被录成文本;在算一个简单平均值之前,往往要“花80%至90%的时间,先把所有数据统一起来”。这就是数据处理,而 Databricks 处理的是“完全不同的规模”——非结构化日志文件、图片、视频和点击流都在其中。
  • 电商案例展现了完整价值链:决定要备多少件 T 恤,可以参考数字广告效果、竞争对手销量和信用卡数据;只要把这些数据整理到可用状态,就能喂给模型来回答问题。主持人的补充很到位:前置数据工作量往往“直接阻止你继续做下去,并最终限制你能做什么”。

2. Berkeley 的7位学者与3个先见之明的押注

  • 创始团队来自 Berkeley 的 AMPLab,时间大约在2009年前后;当时早期云计算研究就在楼下,且与今天的 AI 不同,“云计算这个想法当时仍有些争议”。其中一位联合创始人创建了 Apache Spark,把分布式、横向扩展的算力引入数据处理;横向扩展架构也推动了算力、存储和数据处理的普及,进而促成数据爆发。
  • 按 Tu 转述,Ali 的说法是,他们押注了3件事:云计算会做大,数据会做大,开源会是构建企业的好方式;这一判断形成于 Twitter、Airbnb、Facebook 带来的乐观时代。“回头看,这3个判断都押对了。”Tu 认为,组织的文化和基因——许多后续决策都可以追溯到这段创始故事。

3. 开源变现:连续打中2个本垒打,还要愿意当反派

  • 按 Tu 转述的 Ali 框架,开源创业必须连续打中2个本垒打:先让开源技术获得主流采用,再围绕它建立一门生意;但最终“开源技术会变成企业的主要竞争对手之一”,分发做得更好的竞争者可能比你更会从这项技术中赚钱。
  • 学术界局外人的优势在于,他们不知道 Red Hat 已有服务与支持的先例,于是从第一性原理出发,得出一个简单答案:“你需要创造一个值得付费的更好产品。”主持人对此的调侃是:“答案简单,执行未必简单。”真正困难的是社会层面:在因为把技术免费送给全世界而受到赞誉后,企业突然必须通过不给免费版本提供完整功能,“愿意当一个反派”(you need to be willing to be a villain)。
  • 对于哪些能力应该放进付费墙后,Tu 进一步修正了主持人关于免费增值 LLM 的类比:传统做法是把单点登录等企业附加功能拿来变现,但这些并非核心产品,收费能力也有限。Databricks 选择打造完全专有的 Spark 实现,提供企业级性能、可靠性和可扩展性——就像“更聪明、能给出更好答案的模型”,这部分确实需要付费。

4. 为什么叫 Databricks,而不是 Spark——以及产品阶梯

  • 与 Docker、MongoDB 直接以技术命名公司不同,Databricks 放弃了 Spark 的品牌资产,因为“从第一天起,他们就觉得公司不可能只有 Spark”——未来会有许多块砖,共同解决更广泛的数据问题。Tu 认为,公司名称本身就是这种长期主义的体现。
  • 产品扩张首先服务于同一批用户画像:MLflow 再次开源,向数据工程师和数据科学家延伸至机器学习工具链;Delta Lake 则是解决 ACID 要求的第一步,即事务工作负载所需的原子性、一致性、隔离性和持久性。在这类场景中,数据不一致无法容忍;而做库存分析时,源数据稍有滞后可能并不会改变答案。
  • Tu 还提到,营销是 Databricks 的“核心能力之一”:Delta Lake 发布时,团队送出了印有“Delta Lake 是加上 ACID 的 Spark”(Delta Lake is Spark on ACID)的免费 T 恤。

5. 平台时刻:10亿美元数据仓库与 lakehouse 圈地

  • WCM 投资前后的一个关键验证点,是 Databricks 从 Delta Lake 继续爬升至完整数据仓库工作负载,并推出直接对标 Snowflake 的 SQL 产品,由此从数据工程师和数据科学家扩展到传统 SQL 数据分析师。“进一步扩展到多个用户画像,本身就是巨大的 TAM 扩张。”该仓库产品今年早些时候宣布后,收入正奔向10亿美元规模。
  • 从实际结果看,非结构化走向结构化的路径胜出:这10亿美元收入“远高于 Snowflake 反向切入数据工程带来的类似收入”。不过,Tu 认为胜负既取决于架构,也取决于执行——毕竟“我们无法在不同版本的世界里跑 A/B 测试”。
  • “lakehouse”由 data lake 加 data warehouse 组成,这个命名刚推出时“遭到相当多的嘲讽,甚至显得聪明过头”;如今它已成为“一个非常真实、定义清晰的品类,行业观察者也已经形成共识”。Tu 认为,向市场解释 lakehouse 架构为何是“所有世界中最好的方案”,是 Databricks 故事中极其重要、却没有获得足够认可的一部分。

6. Snowflake、大数据未能打开的 TAM,以及客户黏性

  • 市场现实是多供应商共存:典型架构是 Databricks 在上游处理数据,再把数据存进 Snowflake 仓库;如今 Snowflake 向上游走,Databricks 则向下游走。Snowflake 是下一代云数据仓库,所处市场本来就存在;数据湖一侧则因为一直缺乏足够好的技术,“基本从未真正建立起来”。Hadoop 早于 Spark,Cloudera 等公司也建立在 Hadoop 之上,但技术本身还不够好。2010年代初的大数据热潮随后跌入 Gartner 所说的“幻灭低谷”:企业因为“大数据嘛,为什么不存”而囤积海量数据,最后却发现“很难从里面拿出任何东西”。解决这一问题,带来了巨大的 TAM 扩张。
  • 除了已披露的140%以上净美元扩张率,黏性还来自其他因素:流媒体平台推荐下一部电影等场景直接创造收入且关乎核心业务,不是后台分析;已编目数据会产生额外的“数据引力”;经过处理的数据还能在多个产品之间复用——即使一个产品停止运营,另一个产品仍可能依赖同一批数据管道。
  • 在欺诈预警场景中,Databricks 提供数据管道、数据处理、模型微调和事后模型评估;通常由客户自行构建的独立应用来采取行动,而“Databricks 输出的模型结果会为这一行动提供依据”。

7. AI:持久顺风、原生客户基础与代理式 AI 押注

  • 从量化指标看,Databricks ARR 超过40亿美元,其中约四分之一、即10亿美元与 AI 相关。作为投资人,Tu 最看重的是“有多种方式可以赢”:市场共识首先是“没有数据战略,就没有 AI 战略”,因为没有干净且完成编目的数据,模型“能做的事情非常有限”。因此,即使 AI 情绪转向,公司的增长“上行可能没那么尖锐,但下行也不会那么波动”,且“不取决于我们是否实现 AGI”。
  • 第二和第三种获胜方式分别是:包括最大型 AI 实验室在内的 AI 原生公司会在内部使用 Databricks;以及产品层面的 Agent Bricks 和 Lakebase,正为企业代理式应用搭建底层技术栈,通过自动化劳动来打开一个“可能和数据本身一样无限”的 TAM。真正的胜负手在模型周边的一整套能力:RAG、向量数据库、embeddings,以及模型评估,用于量化那些不可预测的 LLM 代理是否“在做我们认为它们应该做的事情”。
  • 对于超大规模云厂商的风险,Tu 修正了主持人的前提:云厂商确实有竞争产品,只是 Databricks 的定位让这一点不那么明显。从最初与 Microsoft 的战略合作、Azure Databricks 开始,双方一直采取有意的竞合模式:这段合作对启动 Databricks 的现代化进程非常重要,而使用 Databricks 的客户也会消耗超大规模云厂商的算力和存储。Databricks“从未把自己定位成让超大规模云厂商有100%的动机置其于死地”。

8. 财务模型、持续融资的原因,以及可能出问题的地方

  • Databricks 按算力使用量计价,但 Tu 认为,公司变现的不只是算力,还会通过战略性免费提供产品来扩大收入池。Ali 的“地址簿”类比是:没有手机厂商会因为地址簿很重要就单独收费;同样,治理——覆盖元数据的“单一玻璃面板”——就是可以免费提供、以推动采用的战略层。进攻端则是拥抱开放格式、不对存储收费,从架构上攻击 Snowflake“把数据搬进来”的模式,而不只是打价格战。定价比较看的是相对性能下的总拥有成本。整体模式资本开支轻,核心工作负载以 CPU 为主,算力密集度不像 AI 原生公司那样高;但模型服务,即托管推理端点,仍会引入 GPU 成本,只是处于“完全不同的量级”,而 Jensen 认为这些工作负载未来可能转向 GPU,这一点也可能改变现状。
  • 持续融资的谜题在于:资金主要用于抵消员工股权薪酬,以及在员工获得足够的 RSU 或期权流动性、触发 IRS 税务处理后支付税款。这属于“私人版 MAG 7”格局的一部分:后期资本市场基础设施已经足够成熟,上市变成“可自主选择的决定”。Tu 称其为“真正的万亿美元问题”。在2022年周期中保持私有,让 Databricks 能够继续在销售和研发上“打进攻”,而许多上市同行做不到这一点,也因此抬高了任何 IPO 理由需要跨过的门槛。
  • 风险与经验最终都指向文化:规模扩大后仍能持续保持研发执行力并非理所当然——“这个领域已经有公司因为分心而掉队,这一点会真实反映在数字里”;而代理式 AI 的品类创造,也必须“以他们执行 lakehouse 的同样方式”落地。Tu 现在会用来筛选其他公司的判断标准,是带有明确取舍的长期主义,例如即使可能牺牲短期变现,也始终不推出本地部署产品;因为“有些时候,人们谈论长期主义,却说不清楚具体取舍是什么”。