主题 先锋 趋势 方法 作者
返回

有 PMF 也会破产:AI 生意和 SaaS 完全不同|对话 Fireworks AI CEO 乔琳

·硅谷坐标 Silicon Valley Vector

正在生成长图…

本篇主题 企业AI落地ROI与成本控制 专有小模型与通用大模型 AI训练数据与评测基准 大模型推理成本优化 个人AI助理落地与变现 AI如何重构企业组织与流程
本篇先锋 乔琳

摘要

  • AI 有 PMF 不代表就能规模化,快速增长也可能耗尽现金。 曹卿云指出,AI infrastructure 成本很高,小公司增长过快、又融不到下一轮钱,可能“scale into bankruptcy”;大公司若把 AI feature 推给所有用户,也可能因成本高得惊人而被 CFO 拦下。
  • 专用智能的经济价值在于降本和掌控供应链。 曹卿云称,客户可将成本降低 5—10 倍;闭源供应商控制升级与容量,也可能既是 vendor 又是 competitor。基于开源模型并用自有数据定制,是控制供应链的一种有效方式。
  • Specialized Intelligence Index 用企业私有 benchmark 衡量模型在具体领域的表现。 曹卿云认为,公开 benchmark 已训练饱和,而企业独特的产品和任务需要相应的独特评测;Index 会持续反映新开源、闭源模型的质量及其对领域任务的推动。
  • Amber One 通过缩短思考链降本;平台则把训练与推理共同优化。 曹卿云称,思考链可缩短到原来的一半,从而将 token 用量和成本各减半;他也表示,定制模型后可做到推理 bitwise equivalent,不损失精度。
  • 应用从 coding 扩展到知识工作,消费端放量仍是有条件的预期。 曹卿云提到医疗、生命科学、客服、招聘、营销、销售和网络安全等应用;消费应用仍在早期,今年的试验要验证用户需求、PMF 和能否规模化,他认为明年大规模出现的希望很大。
  • 未来 18 个月的挑战,是追上 superlinear demand 而不损失速度。 曹卿云关注如何以低层级、跨组端到端负责的组织方式,在公司扩大后仍保持效率和 velocity。

精读

1. 专用智能要用企业自己的任务来衡量

  • 曹卿云认为 specialized intelligence 与通用智能是平行概念。全球绝大多数数据没有被 foundation model 吸收,因为它们留在应用、产品或企业内部而不对外分享;智能的 frontier 因此也在这些应用和企业内部,企业应把私有数据转化为独有智能体。
  • 他把公司的独特性解释为:公司要解决独特的问题,并以独特的方式把它做好;产品的独特性则体现在独特的 evaluation 上。公开 benchmark 已训练饱和,模型用 benchmark 数据训练后得高分并不说明太多。Specialized Intelligence Index 要汇总企业私有 benchmark,并持续反映新开源、闭源模型的质量,帮助行业判断模型对各自领域的推动。
  • 主持人提到 Index 和 23 号发布的模型,曹卿云说明两者发布时间接近,但没有直接联系。

2. PMF 之后还有成本与供应链两道关

  • 曹卿云区分了 SaaS 和 AI:SaaS 时代,PMF 与 durable business 基本是一回事,之后可以尽快扩张;人力、存储和 CPU 是主要成本,存储和 CPU 已 commoditized。AI infrastructure 则成本很高,所以 AI 有 PMF 也不代表就能 scale;小公司若增长很快又融不到下一轮,可能“scale into bankruptcy”。
  • 大公司也面临这个问题:已有大量消费者或开发者用户的公司,若把 AI feature 推给所有用户,成本可能高得惊人,CFO 可能因此不批准发布。曹卿云称,specialization 可让客户把成本降低 5—10 倍,对企业影响很大。
  • 闭源模型供应商控制模型升级和可提供的流量;若客户要增长 10 倍、供应商无法支持,就会被卡住。供应商也可能推出自己的产品,与客户形成既是 vendor 又是 competitor 的关系。曹卿云认为,使用开源模型并以自有数据将其定制成自己的模型,是控制 supply chain 的有效方式。

3. 模型降本要兼顾推理质量与服务需求

  • Amber One 的发布,是在开源模型降低成本的基础上让模型更聪明。曹卿云称,模型思考链可缩短到原来的一半,token 用量和成本也随之减半;主持人提出效果相同,曹卿云表示认可。
  • 作为平台公司,Fireworks 还把客户的共同需求推到模型层解决:例如让 context window 更长,以支持 turn 可达数百甚至上千的 long-horizon agent;以及让模型更 concise、更快解决问题,从而同时省成本、缩短时间。他说 Amber One 是在其他开源模型基础上迭代的,并认为开源社区相互迭代才能发挥最大影响力。
  • 谈到竞争格局时,曹卿云强调 training 和 inference 是 co-design、co-optimized。模型定制完成后,推理可以做到 bitwise equivalent,不损失精度。他举例说,long-horizon agent 可能经过 100 个 turn 才完成任务;每个 turn 若有 0.1% divergence,累积后可能变成 10%,使结果不可行。他称 Fireworks 可以做到没有 divergence,并在 training 时进行 inference optimization。
  • 他们的端到端平台还包括 Nexus smart router:客户可组合使用闭源、现成开源或定制模型,但不必自己判断何时选哪种;router 会按客户需求自动把请求路由到合适的模型。

4. 知识工作助手扩展,消费端仍待验证

  • 曹卿云说,去年只有 coding 这一类应用爆发;今年 coding 已解决得很好,知识工作助手开始扩展到多个领域,包括 physician 或 patient assistant、drug discovery、cancer treatment、减少 clinical trial shortage 的应用,以及 customer support、recruiting、marketing、sales 和 cybersecurity。他特别提到网络安全领域正有人尝试把 detection 到 defense 自动化。
  • 他认为消费应用仍较早期:今年的试验要验证产品是否符合用户需求、能否解决问题,有了 PMF 后是否能 scale、成为一门生意。已有一些应用开始发展,因此他认为明年消费应用大规模出现的希望很大,但仍是预期而非定论。

5. 组织扩张要跟上超线性需求而不降速

  • 面对未来 18 个月的挑战,曹卿云最关心如何 scale 公司以接住 superlinear demand,同时不丢失 velocity。对他来说,这既是增长速度问题,也是组织架构问题。
  • Fireworks 层级较少,目标不能由单个组独自完成,团队需要对跨组工作端到端负责。他在从第一性原理重新思考组织设计:公司变大后,如何继续保持这种协作效率,并尽可能快地扩张而不减速。