Nvidia 从 Groq 得到了什么｜Ben Thompson 的 Sharp Tech
摘要
- Thompson 认为，技术放大的始终是潜藏于人类社会的问题，而不是自身固有地“好”或“坏”。 把技术视为人们可以简单赋予道德属性、变成道德或不道德之物，等于假定人类对结果拥有过大的控制力。Sharp 另行表示，OpenAI 应在 2026 年某个时候为 ChatGPT 加入广告。
- Groq 采用编译器优先、基于 SRAM 的架构，实现极高速推理。 它的确定性、无分支计算，以及精确映射的片上内存，更像一级方程式赛车进站，而不是在加油站里不确定地寻找路线。
- Groq 的速度伴随着严苛的容量取舍。 它的芯片只有 256MB 内存——不是 GB，因此即便运行基础模型也可能需要大量芯片；大上下文窗口和推理型工作负载则更难处理。
- 推理市场将分化为对延迟敏感和对上下文密集的两类工作负载。 客服对话以及未来可能出现的实时个性化广告更看重速度；独立运行的智能体则可以容忍更慢的数据读取，以换取更大的上下文和更强的事实 grounding。
- Nvidia 可以借助软件和供应链优势，让 Groq 的利基架构变得更有价值。 类似 CUDA 的抽象层有望将工作负载导向合适的架构，而采用 TSMC 更新的 2nm 制程则可能显著提升 Groq 芯片的性能。
- 只要机会足够大，这笔交易的溢价在经济上就可以接受。 Thompson 引用 Nvidia 上季度 230亿美元的自由现金流，并表示，面对一个以数百亿美元计的市场，他并不在意价格。
- 这种授权加挖人的结构，反映出反垄断监管可能反而让影响重大的交易更容易避开审查。 Groq 仍保持独立，Nvidia 则获得技术授权；Sharp 在表示尚未完全核实的同时称，Nvidia 还吸收了约 90% 的 Groq 员工，包括 CEO 兼 TPU 架构师 Jonathan Ross。Thompson 称其为“不可思议的监管乌龙”。
精读
1. 技术加速人类问题
Thompson 的框架是，人们真正介意的技术问题，归根结底都是人类问题，只是技术将其放大或加速了。把技术本身定义为好或坏，等于假定人类对结果拥有过大的控制力，最终可能带来更糟糕的结果。
Sharp 另行预测，OpenAI 应在 2026 年把广告植入 ChatGPT，并表示自己期待记录这场商业化落地。
2. Groq 让推理像一级方程式进站
Groq 早于大语言模型爆发就已成立，起点不是芯片，而是编译器。它的基本思路，是在执行前就把简单、无分支的计算以及数据位置全部映射好。
Thompson 强调了其中的悖论：概率型 AI 建立在高度确定性的算法之上。他把在加油站寻找空闲泵位、调整车辆路线的不确定性，与一级方程式车队精准就位的人员、设备和线路作对比：预先定义好的执行流程快得多。
Groq 将数据保存在片上 SRAM 中，而不是依赖 DRAM 或 HBM。按 Thompson 的说法，固定的数据位置、不需要刷新以及更少的不确定性，让每次计算都更快。他回忆称，Groq 在早期演示中曾瞬间生成 1,000 个单词，并提到 CNN 的一次实时对话演示；实时语音可能是其应用场景之一。
3. 内存限制将推理市场一分为二
取舍在于容量：Groq 芯片只有 256MB——是 MB，不是 GB。Thompson 表示，即便是基础模型，也可能需要连接“海量”芯片；高端模型和长上下文窗口则需要更多得多的内存。
Sharp 提到 Nvidia 发布 Vera Rubin 时展示的大型多机架系统，其中包括用于存储 K/V cache 的 SSD。生成 token 的过程会逐个 token 重复同一套流程，同时保留此前的 token，以维持答案的连贯性。
两人预计，推理不会收敛到单一架构，而是走向分化。独立运行的智能体可以容忍更慢的数据提取，因为用户不在实时交互链路中；客服对话则几乎无法接受长时间停顿。他们还讨论了未来几年实时生成个性化广告的可能性。
4. Nvidia 可以把 Groq 的利基变成平台能力
这是一笔技术授权交易，而非收购；Groq 将继续作为独立公司运营，并任命新 CEO。Sharp 表示，虽然他尚未核实，但约 90% 的员工转去了 Nvidia，其中包括 Jonathan Ross；他称 Ross 是第一代 TPU 的发明者，也是 Groq 的 CEO。
Nvidia 可以通过类似 CUDA 的软件层抽象工作负载分配：用户只需描述要完成的任务，库和软件则负责更多架构选择，在 Groq 式速度与面向上下文和数据搬运、但更吃内存的系统之间进行调度。
Nvidia 还拥有非同寻常的供应链优势。Thompson 将 Groq 使用的 14nm GlobalFoundries 制程，与采用 2nm TSMC 制程的可能性作对比，称后者可能“非常他妈的厉害”；但最终形成的产品也会十分昂贵。
5. 反垄断压力催生了一场没有收购的收购
Sharp 称，这场在平安夜下午 4 点发布的公告，是他职业生涯中见过最轰动的新闻倾倒之一。Thompson 表示，投资者和员工似乎都获得了退出安排，包括就在前一周加入 Groq 的员工，从而保留了人们加入创业公司的激励。
Thompson 不喜欢这种结构，因为激进的收购审查让正常收购变得缺乏吸引力：“以后谁还会做正常收购？”他认为，在大多数标的最终基本失败的情况下，仍把交易视为反竞争行为，这种做法具有破坏性，并可能打开一套模板，让大型科技公司避开传统审查。
在 Sharp 看来，Groq 是一家规模不大但货真价实的竞争者，Nvidia 可以不收购公司，却“实际上买下”它。Nvidia 的员工、供应链优势以及改进 Groq 设计的能力，可能让 Groq 的独立身份随着时间推移变得越来越没有意义。Thompson 表示，如果机会确如预期般巨大，那么 Nvidia 上季度 230亿美元的自由现金流足以让这笔溢价变得无关紧要。
Sharp 追问，授权交易未来是否也可能受到审查，并指出这笔交易是非排他性的；他还提到 Jensen Huang 与 President Trump 的关系。Thompson 警告称，限制员工流动或审查授权协议只会制造更多糟糕后果。他表示，这一模式始于 Trump 政府，并称最终形成的监管结果是“不可思议的监管乌龙”。