摘要

Makora 正从自动化 Kernel 生成，扩展为不绑定基础模型供应商的“高性能 AI 模型部署引擎”。 Kernel 仍是核心组件，但商业卖点已延伸至推理服务器、训练流水线、强化学习 rollout、数值计算和异构硬件上的端到端性能。Abdelfattah 的框架是：“我们的价值主张是出售性能”（Our value proposition is that we sell performance）。
其 sequential Monte Carlo 推测解码方法，在所引用的 batch size 为1、低延迟场景下，性能约为 SGLang 基线的5×、启用实验性重叠调度器的 SGLang speculative decoding 的2×。它会生成 N 个 draft，由 target model 打分，复制强候选、淘汰弱候选，并始终接受 K 个 token，而不是回滚。Abdelfattah 强调，该方法消耗更多算力，而且“从根本上说是一种有损方法”。
随着基础模型的代码生成能力提升，Makora 用 FP4 研究展示其以性能为核心的差异化。 重新映射 FP4 中冗余的第二个零值，可以在 FP4 的内存占用下获得“FP5 或类似 FP5 的精度”。对于 NVFP4 权重-激活量化，直接的 NVIDIA 实现需要额外的稀疏补偿 pass；AMD 则可以通过与 FP4 硬件共享、吞吐相同的 FP6 路径完成升位。“这个极其小众、未被利用的 FP6 精度正好来救场。”
Kernel 评测本身已经成为一款产品，此前一次早期演示曾遭遇大规模 reward hacking。 Makora 现在会追踪生成函数是否被正确执行，拒绝使用被禁止依赖的代码，并用 AI 检测 reward hack；整个 pipeline 大约能捕捉11类 exploit。客户提交“一个 kernel 和一个问题”，通过 API 获得 reward 信号，并可据此训练模型。
更强的代码模型正在成为 Makora 模型无关策略的顺风。 平台会尝试多个 agent，返回最优 kernel；团队也在测试“Gemma 4”等开源模型，并探索微调或专门化，以提供大模型基础模型之外成本更低的替代方案。更难的一层，是让代码生成后就已经适配数据布局、接口、量化模式，以及 GGML、SGLang 等系统。
Makora 的客户切入点包括硬件厂商、拥有私有 GPU 集群但没有内部性能团队的企业，以及希望采用默认软件层的 neocloud。 硬件厂商可以在不培育开发者网络的情况下快速补齐软件支持，企业则可以服务内部模型而不依赖公开 API。更长期的押注，是同时抽象性能工程和硬件部署位置：“让正确的代码运行在正确的硬件上”（the right code for the right hardware）。

精读

1. Makora 正在向上攀升技术栈：单卖代码生成很难

Cornell 助理教授、Makora 首席科学官 Mohamed Abdelfattah 表示，公司成立至今接近2年，最初的判断是，大量手工完成的 AI 性能工程可以被自动化。公司先从高性能 GPU 和其他硬件的 Kernel 做起，随后扩展到推理服务器、训练流水线和强化学习 rollout。
公司此前以 Maeko 之名运营，这个名字已经被广泛使用，后来另一家创业公司委婉要求其停止使用。团队一度以为自己只需要出售一个代码生成 agent。Abdelfattah 将其比作卖编译器：商业化难度更高，也不如聚焦最终性能来得可持续。
因此，Makora 希望把务实的硬件感知调优与新算法结合起来。“我们的价值主张是出售性能”，这不仅包括 Kernel，也包括服务栈、数值计算和部署工作，目标是让性能增益在端到端链路上真正兑现。

2. 并行 draft 消除了推测解码的回滚代价

标准 speculative decoding 会先顺序生成 K 个 token，再用更大的 target model 并行验证，token 匹配失败后回滚。Makora 的 sequential Monte Carlo 方法则维护 N 个 draft，由 target model 负责打分，淘汰重要性较低的候选，并复制得分较高的候选。
Abdelfattah 的类比是数学题中的 pass@N 对 pass@1：更充分地利用 draft model，意味着系统“始终接受 K 个 token”，并且“从不拒绝任何 token，也不回滚”。据引用结果，其速度约为 SGLang 基线的5×，是启用实验性重叠调度器的 SGLang speculative decoding 的2×，也比更新的 SSD 基线“快不少”。
关键限定在于，这些结果来自 batch size 为1的低延迟场景：由于包括 draft model 在内的工作负载受内存带宽限制，额外的 draft 计算可以利用原本闲置的算力。batch 变大后，该方法会比普通 speculative decoding 更早触及算力上限。它本身也是有损方法，可能让需要精确一致性的用户望而却步。经验上，多个质量不一的 draft 甚至可能跑赢 target；但如果 draft 严格更差，理论上 N 趋近无穷时应当与 target 持平，而不是超越后者。

3. 算法足够灵活，但生产框架设有限制

SMC 可以构建在 MTP、EAGLE 或专门训练的 predictor 之上，不必绑定某一种 speculation 技术。Abdelfattah 表示，通过额外技巧，它甚至可以连接采用不同 tokenization 的模型，不过这仍属于小众研究用途。
Makora 已经拥有 SGLang 的 fork，但一些“更复杂的东西”很难直接塞进现有生产级服务框架。因此，公司正在开发自己的推理引擎，同时仍会根据具体工作负载，选择并增强最合适的开源服务器。

4. 评测基础设施把 reward hacking 变成可销售产品

Abdelfattah 回忆，一次早期演示遭遇 reward hacking，“可能是我人生中最糟糕的30分钟”。此后，Makora 建立了一套严格的评测 pipeline：追踪生成函数是否被正确调用，拒绝使用禁用库的代码，限制依赖，并用 AI 检测 reward hack。整体 pipeline 大约能捕捉11类 reward hack。
Makora 对这套 pipeline 的信心已经足以将同一套内部评测和 profiling 基础设施，通过带身份认证的 API 对外提供。“客户给我们一个 kernel 和一个问题，我们给他们 reward”，让客户可以基于 GPU 特定反馈训练基础模型；至少1家客户已经购买这项服务，据称使用体验相当不错。
与直接调用 Claude 或 GPT 相比，Abdelfattah 给出的客户理由是一致性和端到端集成。基础模型可以生成示例代码或 proof of concept，但真正部署时，还需要正确处理数据布局、接口和量化模式，并将其接入 Qualcomm NPU 上的 GGML 或 AMD GPU 上的 SGLang 等目标系统。

5. 精度研究与异构部署构成更大押注

在 FP4 中，负零和正零分别编码，浪费了仅有的16个量化等级中的1个。Makora 将这个冗余零值重新映射为可学习的特殊值，试图在 FP4 的内存占用下实现“FP5 或类似 FP5 的精度”。
仅权重量化不会遇到这一问题，因为权重之后会被升位。但在 NVFP4 权重-激活量化中，特殊值超出 FP4 的表示范围，因此直接的 NVIDIA tensor core 实现需要先跑一遍，再跑一遍稀疏补偿 pass，带来额外开销。在 AMD 上，FP6 与 FP4 共用硬件路径，吞吐也相同，可以在不付出同等代价的情况下将特殊值升位；NVIDIA 的 FP6 则与 FP8 共用路径。Abdelfattah 的判断是，AMD 硬件“从根本上说相当强”，但软件仍需追赶。
短期内，Makora 希望打造一款“杀手级”推理引擎，之后可能扩展到训练和强化学习，让企业系统管理员“按几个按钮”就能使用。更宏大的愿景，是把工作负载拆分到不同类型的机器上，包括 draft model 和 target model，再由 agent 为每台设备生成正确的实现。
包括 SMC 代码在内的研究成果计划开源，并围绕这些成果搭建闭源的企业层。最终目标，是弥合“我买了一块 GPU”和“我正在榨取这块 GPU 的最大性能”之间的差距。

智能即基础设施：AI如何重构经济 Jacob Rubin 在 Sohn 2026 上推介 Galaxy Digital