摘要

江鋆晨给出全片的核心框架：KV Cache 有三层理解，而工业界多数停在第一层。 第一层是把它当作“可存储的黑盒数据”复用；第二层把它当作有语义（attention）信息的白盒，可做 lossy compression、非前缀复用、跨模型复用；第三层直接改语义——“pay more attention to this, pay less attention to that”，甚至能提高模型输出准确性。“工业界很少有人理解到这一层”，这正是 TensorMesh 创业的原因。
他判断“KV Cache moment”可能比预想来得早——“有可能在今年年底前”就有大量公司涌入。 但他对大厂并不恐慌，优势在于跨学科：能碰到 GPU 数据的 infra 工程师做不了二、三层，懂语义的 ML researcher 又缺第一层工程能力；并援引 Sam Altman 的观点——大公司“人的 attention 分散地方太多了”，可能一个组做两个月就转向。
他拆掉了“input token 便宜所以 prefill 不值钱”的定价错觉：每个 token 的真实计算成本 input 与 output 差不多，定价并不反映成本。 prefill 高度并行，在他举的场景中只占用户等待时间约十分之一，但真实 use case 里 input（几万 tokens）常比 output（几千）长十几倍——agent 应用因模型 stateless，input 只会越来越长，这是 TensorMesh 降本逻辑的地基。
经济逻辑可概括为“用存换算”，但他强调 TensorMesh 做的是硬件之上的软件，不是硬件采购。 KV Cache 存在 CPU、本地 SSD 或 GDS 时，取回复用比重新计算既省 GPU 成本又更快；存到更冷层才出现降本换延迟的 trade-off。他还强调公司与存储硬件周期解耦——存储涨价是供需失衡（订单已排到两年后），长期会回落，客户该算的账是“多少钱花硬件、多少钱花软件”。
对 TAM 的追问他直接拒绝：“total addressable market 是个 misleading word”——因为绝大多数人还没意识到这个市场存在。 在模型和 prompt 都定死的前提下让模型更好理解 prompt，是提高 agent 质量的“第三条路”；最佳场景是企业 shared knowledge（codebase、policy/legal documents）跨 coding、chatbot、RAG 多应用复用。
差异化押在生态与技术上：LMCache 是同类项目里 ecosystem support 最好的，CacheBlend 解决非前缀复用——KV Cache 存储“不仅仅是个 Storage，它是个 Service”，里面要有计算能力。对投资人提到的相似项目，他只说“确实差不多，good luck”；对架构风险的回应是 KV Cache 只是暂时名字，本质是 model-native data，Mamba（如千问 3.5 仍留约四分之一 Transformer 层）时代照样存在。
两个值得记住的类比：KV Cache 是“AI 时代的大数据”，TensorMesh 想做的是“只有 model 才能看的 data”版 Databricks（Ion Stoica 为其顾问）；空间上则是当年的 CDN——“Akamai 就是当年的 OpenAI”。现在做的是 data center 内的 mini-CDN，等 edge 与分布式推理起来，就是 internet-scale 的 knowledge delivery network：“我们可能三年前看了六年后的东西”。
大模型格局他押“在线视频”而非“搜索”终局：少数公司 consolidate，但主权 AI 与企业私有部署会养活大量独立服务。 开源侧他很直白：OpenAI、谷歌的开源模型“很难和中国的这些开源模型竞争”，未来几年开源“可能还是得看国内”；xAI 收购 Cursor 只是整合潮的一例，但他也表示对这一具体案例并不了解。

精读

1. 瓶颈换了：agentic 长文本让“资源跟 workload 不对等”

江鋆晨开场定位：“AI 已经不是两年前的 AI 了”——workload 大涨之外，prompt pattern 也变了：agentic use case 带来长文本，输入越长对 GPU 计算和内部存储要求越大，模型消化长文本后产生的“记忆”也得存下来。瓶颈说到底是资源与 workload 的不对等，不能只等更好的 GPU，需要软件层创新。
TensorMesh 的位置：大模型的记忆管理。KV Cache 是“一大堆浮点数”，存着模型对 context 的理解，但模型是 stateless，“看过一次、输出一次之后……把这些记忆就直接丢了”。TensorMesh 和其开源项目把记忆留存下来，遇到类似 input 时复用——主攻 prefill 阶段，decode 过长时也可能需要远端或分开的设备帮存。

2. input 便宜是定价幻觉，不是成本事实

曹卿云的质疑很尖锐：input token 价格只有 output 几分之一，“听起来好像不是一个能 create 很多 value 的创业”。江的回应是拆成本与定价：每个 token 上 input 与 output 的 FLOPS 成本“是差不多的”，甚至整体 prefill 成本更高。
便宜错觉来自体验：prefill 大规模并行；以他举的场景看，只占用户盯屏时间约十分之一，“百分之九十时间都在 output”；output 线性生成，占 GPU 时间更多，provider “有更好的理由去说它很贵”——定价是 provider 在 balance cost，“并不是真的 reflect 它真实的 cost”。
而且量级在 input 一侧：他举的真实场景中 input 几万 tokens、output 几千，前者长十几倍；agent 和长对话里模型 stateless，每次都要喂更多 context，“input 只会越来越长，但每次的 output 不会相应变长”。

3. KV Cache 的三层理解——全片的智识核心

第一层：KV Cache 是 cacheable compute state，黑盒，存下来 as is 复用——“很多工业界的公司都在做”。大模型推理服务商提供低价 cached token，在他看来是对这一方向的 validation；但他指出，现有 prompt caching 的应用场景仍有限，在其开源项目及使用者的实践中，cache 下来的 token 只存 CPU，放到便宜的 remote storage 性能会差很多。
第二层：KV Cache 有语义，代表模型的 attention。“只要不改变它的语义”，就能改它的值——lossy compression、非前缀位置复用、文本不同但语义相近时复用、甚至跨模型复用。“学术界做了很多，工业界现在很少做。”
第三层最有意思：模型输出取决于 weights 和 KV Cache 两样东西，所以改 KV Cache 就能改输出——“你可以告诉模型，pay more attention to this, pay less attention to that”，做这种操作“甚至可以让模型的输出准确性更高”。学术界已经开始有人做，工业界很少有人理解到这层。
为什么前沿在学术界？工程师看到系统里的数据，第一反应是“不去改它”，而是当黑盒存起来；学术界会问数据里有什么语义。“类似的事情在当年大数据的时候发生过……AI 时代里面最重要最有意思的数据就是 KV Cache。”

4. 大厂为何难以快速复制：跨层人才与 attention 稀缺

他坦承竞争会提前：“本来觉得可能明年后年再发生，现在有可能今年年底前就会发生。”但三层通吃极难：做第一层的必须是能接触 GPU 的 infra/backend engineer，却不懂数据含义；能做二、三层的是 researchers，“并没有工程方面的 insight”，无法接触真正的 KV Cache system。大公司三种人都有，“但很难把他们放在一起去做一整套系统”。
他引 Sam Altman 的观点压轴：你带着再好的 vision 去劝大公司 CEO，“他们都不一定做得了”，不是因为没有实力，是“人的 attention 分散地方太多了”。大公司可能有个组在做，“过两个月他们就做别的了”；而 TensorMesh “专注就做这一件事情”——甚至有大厂内部立项的理由是“TensorMesh 融了那么多钱，就干这个？我们也应该做”。

5. 客户画像：shared knowledge 复用 + 提质的“第三条路”

有趣的坦白：开源项目看不到谁在用，“很多公司我们上去问要不要试试看，他说哦我们一直在用啊”。从交流经验看，最佳场景是企业 shared knowledge——共享 codebase 给所有 coding agent、policy documents 给内部 chatbot、legal services 等场景中的文档跨应用复用，“每次让 LLM 不停地读，这肯定很浪费”。best practice 与其以 human-readable 文本存，不如以“model-native 的方式存下来”，模型可以直接读。
agent 越迭代对他们越利好：agent 本质是“和环境以迭代方式交互的逻辑”，交互越多 history 越多，context 就越来越长。
不止降本，还能提质：模型生成 KV Cache 是 unidirectional，读一遍；长文本有 “lost in the middle”——信息位于开头或结尾时找得较好，在中间就找不好，“跟人读一本长书只读一遍一样”。vision 之一是在存储处做优化，“让模型把文本重要的地方再读一读，把 attention 再提高一点”，下次复用时输出更精确。
对 TAM 的回答保留原味：“total addressable market 是个 misleading word，因为 addressable 前提是大家现在在想这个事情，绝大多数人现在都没有在想。”在模型和 prompt 已确定时，让模型更好理解 prompt，是提高 quality 的“第三条路”；目前关注这条路的人还很少。

6. 竞争差异化：LMCache 生态与 CacheBlend

自我定位诚实分层：纯粹的 KV Cache 存储技术“确实跟别人没有太大区别”，但论有一套真的 artifact、让很多人顺利用起来、多家公司以开源形式共同维护的 ecosystem support，“我有信心说没有其他公司可以做那么好”——他们最早做 KV Cache 系统优化 research、最早开源、也是最早有 commercial product 出来。对投资人提到的相似项目，他说：“确实差不多，good luck。”
CacheBlend 是他估计独有的技术样本：传统 KV Cache 只能前缀复用，复用文本在 input 中间就不行，需要先 update 才能复用，而更新需要计算——“这 KV Cache Storage 不仅仅是个 Storage，它是个 Service，里面是有 smart intelligence 的”，存储系统里必须有计算能力，“就真的需要懂系统，也需要懂 ML 了”。

7. 多模态把 token 量推上另一个数量级

图像视频对模型来说还是 tokens，只是“much longer sequence of tokens”——几十秒钟的视频，生成的 token 数“可能相当于一本大部头书里面的文字 token 数”。多媒体自带大量冗余语义，压缩空间巨大；甚至可以先转文字再喂模型，作为一种 research idea。
复用的定义也会重构：同一个视频 480p 和 1080p，“应该是一个 input”，但转成 token 后可能长得完全不一样。结论是，优化技术会持续出现，不会让存储硬件供给瓶颈实质性影响效果，但需求量和资源要求只会越来越高。

8. 经济账：用存换算、存储周期与冷热分层

经典 trade-off 在 LLM 里有反直觉的一面：KV Cache 存在 CPU、本地 SSD 或 GDS（GPUDirect Storage）时，取回比重新计算更快——“既帮你降本，同时又帮你提速”。存到更冷、更远端才牺牲延迟，但“降本的 benefit 还是在的”；加上 compression 让 KV Cache size 变小，“只要网速不要太慢，一般存储 KV Cache 都是有好处的”。
存储涨价他归为供需失衡：订单已排到两年后所以“不会下那么快，但长期来看是会下来的”；真正该算的账是硬件与软件的花钱比例——“与其花更多的钱买更多 GPU memory，想想是不是可以有软件的方法做到类似的事情”。但他也留了不确定性：AI 的 usage pattern 与 cloud、大数据时代都不同，比如 RL training 把一个模型变成 30 个版本，反而可能推高 GPU 用量，“这些都是 we have to see”。
冷热判断不做黑盒：如何判断一个 KV Cache 下一秒用还是十分钟后用、“今天用明天也用每天八点钟都用”，产品自己很难做对，必须给 operator 一个 interface 表达 domain knowledge——“我们并不希望做一套 transparent 的 KV Cache 系统”。

9. 最好的类比：CDN for KV Cache，以及 Databricks 的镜像

他给的历史坐标是 2000 年左右的 CDN：“Akamai 就是当年的 OpenAI”——没有它看个网页要十秒，有了它半秒。KV Cache 需要一个 Content Delivery Network，但模型现在都跑在同一个 data center，“那我们先做个 data center 内部的 mini CDN，就是现在的 KV Cache Storage”。等 agent 对延迟要求提高、推理硬件被推向离终端用户更近的 edge，模型与模型间距离拉大，“就会需要一套 internet-scale distribution system”——knowledge delivery network。“我们可能三年前看了六年后的东西……三年里面这件事没发生不代表六年不会发生。”
顾问是张辉（前 CMU 教授、Conviva CEO）和 Ion Stoica（Berkeley 教授、Databricks/Anyscale founder，其组做 SGLang 和 vLLM）。Stoica 起初“也没听懂我在说什么”，后来意识到“这是个数据问题，跟 vLLM、SGLang 干的计算问题不是一回事”。分界线记住这句：“Databricks 做的是企业级的 human-readable data，我们做的是只有 model 才能看的 data。如果有个世界全是 AI model，那可能我们干的是 Databricks 的事儿。”

10. Token maxing、模型格局与“汽油”收尾

对 token maxing 的批评毫不客气：现在写 agent 是“野蛮生长”——模型看过什么、生成什么全塞回 context 再读一遍，“这真的是非常非常低效的方法”。很多东西没法 compress，只能复用，且不必只复用前缀——CacheBlend 正因此被很多公司特别感兴趣。效率提升不会缩小市场：他引用 Jevons’ paradox，认为效率越高，大家的需求只会越多，token consumption 只会越来越高。
大模型终局有两种可能：像搜索（谷歌一家独大）或像在线视频（YouTube、Netflix 之外还有 HBO、Hulu 等大量活得很好的服务）。他押后者：少数公司 consolidate，但主权 AI 和商业机密防护严的企业级用户“永远需要一套自己可以控制的软件系统”。开源侧的判断很硬：从 2025 年的 DeepSeek 到 2026 年的智谱 GLM，OpenAI 和谷歌的开源模型“或多或少都很难和中国的这些开源模型做竞争”；除非有很大改变，未来几年开源模型“可能还是得看国内”。
架构风险的化解：KV Cache “其实是一个暂时的名字”，本质是 model-native data——推理中生成的中间状态，Mamba、diffusion model、CNN 里都有。Mamba 的 intermediate 是与文本长度不直接相关的 linear state，但业界共识是 hybrid：如千问 3.5，多数层是 Mamba，仍有约四分之一的层是 Transformer（full attention）。
收尾接住了主持人团队的比喻——KV Cache 像炼油的副产品汽油，内燃机出现前被当废料。江的呼应：“懂 KV Cache 的人接触不到它，接触得到 KV Cache 的人不懂 KV Cache。哪天真的有一个公司把这个价值挖出来，它就从废料变宝了。”内燃机时刻何时到来？“取决于我们公司的发展。”

Pershing Square Challenge 2026 决赛选手谈 MSA Safety：隐藏的高质量复利股？$MSA 市场概述2026年6月30日