表格基础模型与合成数据
聚焦表格数据深度学习与先验合成数据训练范式
0个信源参与该主题的先锋
全部段落
9月23日
- Frank Hutter 深度学习终于攻克了表格数据——Tim Scarfe 的说法是，TabPFN 如今“明显优于 CatBoost 和 XGBoost”，此前 Google 2019 年大肆宣传的 TabNet 等尝试都以失败告终。 Frank Hutter 的解释是，上下文学习可以跨数据集迁移模式和特征交互：医疗表中的单行数据对保险表毫无帮助，但预训练 transformer 可以一次性读入整张表，在单次前向传播中输出定制分类器，无需训练循环或超参数搜索。
- TabPFN 是“第一个真正达到业界领先水平、却完全用合成数据训练的基础模型”——训练数据来自数亿个从结构因果模型先验中采样的数据集。 互联网上没有可供抓取的有用语料（“人们不会把自己的表格数据集放到网上”），这让通常的数据护城河逻辑完全反转：既不存在数据泄漏或记忆问题，也能直接控制生成式训练分布；持续迭代先验设计因此成为关键优势。
- 上下文规模正以“每年2个数量级”的速度复合增长：TabPFN1 可处理1K行，v2处理10K行，v2.5处理100K行，v3处理1M行，下一目标是10M行。 LLM 并不适合这一规模——100万行乘以1000列相当于30亿至40亿个 token，而序列模型“无法理解调换两行……仍然是同一个数据集”；面对大表，“LLM 就会彻底栽跟头”。
- Google 的 TabFM（Scarfe 称其规模大约高出30x）验证了这一赛道，但也暴露出 Prior Labs 正在利用的取舍：它单次前向传播慢15x，在极小和小型数据上明显更强，但超过约100K行后“直接因为内存不足而崩溃”。 Hutter 在录制后补充称，TabPFN 3.5 在7项基准测试中拿下第一；在质量相当时，它比 TabFM 快20x，或者在仍然更快的情况下高出100多个 Elo 分；Nick Erickson 还在一场有3,500名参赛者的2015年 Kaggle 挑战赛中，用单张 RTX …
- 因果路线图是最具投资论题相关性的远大目标：Do-PFN 可以在测试时利用观测数据做干预预测，先通过合成因果干预进行元训练；已有论文显示，在达到相当性能的情况下，它可以减少所需的 RCT 数据点数量。 Hutter 认为，如果药物能够凭借更短的研究周期上市，这可能“彻底改变医学和 A/B 测试”；但他也强调，“我们需要把这件事做得严谨，并建立在理论基础上……这是高风险领域”。
- 商业切入点不是独立应用，而是代理式 token 经济。 “LLM 会调用计算器，因为它们更擅长数学；同理，它们也应该调用表格基础模型。”收入来源包括免费非商业开源使用、生产许可费、API、微调即服务、私有 VPC，以及通过 Azure、AWS 和 SAP Generative AI Hub 分发；Prior Labs 已被 SAP 收 …