主题 先锋 趋势 方法 作者
返回

为前沿 AI 输送数据的隐秘供应商

·Delphi Digital

正在生成长图…

本篇主题 AI训练数据与评测基准 大模型推理成本优化
本篇先锋 Andrej Radonjic

摘要

  • Grass 的优势,始于让 AI 系统能够访问屏蔽数据中心流量的网站。 Andrej Radonjic 表示,通过住宅 IP 路由是广泛获取网站内容的最佳方式,浏览器基础设施还能应对额外防护。Grass 向自愿参与者购买带宽;Andrej 称,Grass 已向 AI 实验室交付艾字节级数据。
  • 前沿实验室采购数据时,越来越看重有效信号和交付速度,而不只是原始数据量。 实验室的筛选过程可能发现,数据集中只有一小部分有用——例如 0.16%——从而转向更有针对性的采购。新模型每隔几个月就会刷新基准,客户可能因此“落在后面”;成熟实验室会根据基准提升、后续 token 使用量和财务回报来评估数据价值。
  • 机器人领域需要经过精挑细选的行为视频。 Andrej 将 Yan 提到的约 10 亿个公开视频更新为已索引超过 1000 亿个。Yan 指出,索引不等于把每个视频都下载下来。生成式视频受益于多样、可组合的样本;机器人目前需要能教会模型动作和互动的视频素材,筛选难度远高于单纯累积视频。
  • 训练爬取正在为实时推理和搜索搭建基础设施。 Andrej 将训练数据采集形容为一场“寻宝”,同时也在绘制互联网地图。Grass 已在 Live Context Retrieval 旗下发布 Content API,下一步计划推出 Search;他预计训练数据和推理数据最终会逐渐融合。
  • 推理让区域算力和延迟变得越来越重要。 Andrej 过去认为 Live Context Retrieval 需要的节点数量要增加到原来的 10 倍,但基础设施优化让产品早于此前讨论的 2027 年时间表推出。随着区域需求增长,住宅节点预计还会增加;而“光速”则限制了路由请求的延迟能接近原始延迟到什么程度。
  • Grass 的客户业务和知识产权都置于一个没有所有者的基金会之下。 Andrej 表示:“没人拥有它。” Wynd Labs 提供服务、雇用员工,但不持有知识产权。收入鉴证会核对基金会的采购订单和现金回款,包括 60 天的付款延迟;它针对的是基金会,而非另一个股权载体。
  • Yan 转述了一位创业者的观点:更高的再投资回报可以构成护城河,Andrej对此表示认同。 Yan 提到,市场预计到 2030 年 AI 数据市场将达到 1000 亿美元;Andrej 认为,合成轨迹、强化学习和其他数据类别都存在扩张机会。收尾的护城河讨论聚焦于如何比竞争对手更有效地利用每一美元。

精读

1. 住宅网络访问是这张网络的起点优势

  • Andrej 最初在应用数学博士期间,为套利机器人爬取网站。疫情让情报搜集转向线上:政府要计算 CPI,却很难再派人拿着夹板去商店采集数据。用户认为商品信息理应公开,网站却越来越多地限制自动化访问。

  • 屏蔽机制也会误伤合法代理。网站看到 AWS 托管代理使用数据中心 IP,难以判断它和爬取价格的竞争对手有何区别,因此默认选择可能是拒绝访问。Andrej 表示,通过数百万个住宅 IP 路由是广泛获取内容的最佳方式;有些网站还要求浏览器执行,并采用不同的指纹。

  • Grass 以用户同意为原则:参与者主动安装应用、分享带宽并获得奖励。Andrej 将这种模式与悄悄植入电视或软件更新的代理软件作对比,认为后者不道德,也无法长期持续经营。Yan 披露,Delphi Ventures 投资了 Grass 并持有其代币。

2. 训练爬取既在搭建数据工厂,也在绘制互联网地图

  • 模型一经部署,就会立刻碰到知识边界:它并不知道训练结束后发生了什么。Yan 问,持续学习是否会降低训练数据的重要性;Andrej 预计,训练数据和推理数据最终会逐渐融合。他称持续学习研究令人兴奋,感觉这个问题很快就会解决。Yan 则认为,面向超大规模的持续学习框架或许几年内就会出现。

  • Andrej 把训练数据采集形容为一场“寻宝”:爬虫在寻找有用材料的同时,也会顺带绘制互联网地图。他提到,相对小型的集群几小时内就能收集数十亿个 URL。这些索引构成搜索的基础;Grass 的访问基础设施则能在不被拉黑或落入蜜罐的情况下抓取网站内容。

  • 这项业务需要数千台算力服务器、数 PB 存储,并已向 AI 实验室交付艾字节级数据。新增容量几小时内就能被用满。一次面向头部实验室的紧急交付中,CTO 兼联合创始人 Chris 赶到 Ashburn,通宵未眠、睡在地板上组装服务器。存储资源也用于筛选和处理原始材料,将其加工成更有用的数据集。

  • 客户看重什么取决于模型需求:视频、代码、稀有方言或难以访问的网站都可能成为重点。Andrej 强调,时间压力不容忽视,因为新模型每隔几个月就会刷新基准。挑出大型数据集里最好的部分,并在训练时提高其权重,可以提升训练效果;Grass 正在帮助识别这些有效信号。

3. 机器人让视频筛选成为研究课题

  • Yan 提到的约 10 亿个公开视频已经过时:Andrej 表示,Grass 已索引超过 1000 亿个视频。Yan 指出,索引不代表盲目下载每一个视频。视频存储和处理成本高,若要将材料变成有用的训练产品,必须先精准筛选。

  • Andrej 解释,如果研究人员明确任务且手头有相关数据,进展就更容易通过“损失曲线”衡量。教模型西班牙语,就应从西班牙语材料入手。Yan 举例设想机器人从割草机使用者身上学习——观察对方如何行走、移动双手、操作物体。Andrej 又举例说,模型可以看人把水倒进杯子,从中学会如何完成这个动作。

  • Andrej 对比了 Sora 和机器人:Sora 可以从多样视频中学习并组合内容,例如生成一只身处太空的卡通猫;机器人需要的视频则既要多样,又必须与具体任务相关。Yan 设想机器人从数百万个样本中学习;Andrej 表示,游戏画面或许能帮助模型学习与环境互动,而卡通片或音乐视频目前对大多数机器人任务价值有限。如何识别并筛选合适的行为视频,仍是活跃的研究领域。

4. 实时检索将内部基础设施转化为产品

  • Live Context Retrieval 是产品系列,已发布的产品是 Content API。它把原本为大规模训练爬取搭建的基础设施封装成一次调用,负责住宅网络路由、复杂的 TLS 指纹和服务端浏览器。Andrej 表示,单靠住宅 IP 网络往往无法完成某些任务。

  • 用户提交 URL,可选填国家,并以 Markdown 或纯文本形式获取内容。Yan 举例,一个智能体测试股票交易策略时,可以使用全球各地的信息,包括可能仅在特定国家开放的网站上的产品和股票资料,以便在财报发布前计算基本面。

  • 下一步计划推出 Search,因为智能体还需要先发现哪些 URL 值得访问。Andrej 估计,典型的联网智能体一次会调用 5 到 50 个页面,深入研究可能需要更多。Content API 适合监测已知网站;Search 则能让模型先找到相关来源,再抓取内容。音频和图像 grounding 功能仍在开发中。

  • Andrej 认为,易于获取的 ANN、embedding、信息检索工具和开源模型,已经让搜索的部分能力更容易实现。他给出的刻意简化的例子是:每月不到 100 美元,就能在 AWS S3 存储桶的 5000 万份文档中搜索。他并未因此断言这些工具已成大宗商品,也没有说 Grass 已经建成优秀的互联网搜索引擎:稳定采集并刷新被屏蔽的网站内容仍然很难。

5. 推理改变了网络的容量要求

  • Yan 提到,他所知最新的公开数据是近 800 万个节点。Andrej 表示,推理需求进一步强化了住宅节点持续增长的理由:训练数据采集可以在某个地区容量不足时等待;智能体若要立刻获取该地区的信息,灵活性就小得多。因此,必须在请求产生的地方备好容量。

  • Andrej 承认自己调整过时间表。他此前认为 Grass 需要把节点数量增加到原来的 10 倍,才能推出 Live Context Retrieval;但优化后发现,更少的节点也能完成更多工作。Yan 回忆,早前讨论指向 2027 年。Andrej 预计效率还会继续提升,同时也承认规模扩张最终会遇到边际回报递减。

  • Andrej 称,Content API 的成功率非常接近 100%,也就是说,它总能找到办法从公开网站采集内容。考虑到网上有大量信息毫无用处,这比夸耀爬取页面数更有意义。延迟仍有待改善:住宅网络的绕行受“光速”限制,Grass 希望尽可能接近原始延迟。

6. 实验室为数据能力定价,也保护各自的研究方向

  • 实验室的需求在广泛探索和专项采集之间切换。客户可能先要一份大型领域数据集,评估后发现只有约 0.16% 的内容有助于改变结果,于是要求继续采购这部分数据。Andrej 表示,尽管研究方向不断变化,训练数据需求仍显著增长。

  • Yan 追问成本和质量哪个更重要;Andrej 表示两者都重要,有时速度还会带来溢价——例如客户要求 3 小时内交付,而非次日送达。更成熟的实验室会估算基准提升带来的财务收益、该能力可能带来的额外 token 使用量,以及每单位数据的合理价格。交付无用数据可能导致供应商被拉黑或被搁置。

  • 实验室可能设有分别负责文本、音频或视觉的团队,采购也可能各自独立。有些团队或许已为特定任务使用其他供应商,但 Grass 可以与他们讨论自己采集到的其他相关数据。Yan 问及国防或政府应用时,Andrej 表示客户不会公开讨论自己的工作,因为这类信息可能被他人用来对付自己;他没有描述 Grass 与这些机构的具体合作。

  • 许多数据供应商会搭建强化学习环境,也就是让模型练习特定基准技能的“训练场”。Andrej 预计市场仍会有需求,但供应商必须跟上研究重点的变化。他认为 Grass 更广泛的基础设施有其优势:客户从一种能力或数据类别转向另一种时,仍然需要访问互联网。

7. 基金会承接业务,再投资能力支撑投资逻辑

  • Andrej 将收入鉴证描述为会计师事务所的核对工作:把 AI 实验室等客户的采购订单与现金回款进行对账。如果发票 60 天后才支付,就会出现时间差。他表示,这份鉴证针对的是 Grass Foundation;他认为很多观察者忽略了这一组织架构上的区别。

  • 客户关系由基金会承接。Andrej 称基金会没有所有者:“没人拥有它。”基金会的行动由独立董事监督。Wynd Labs 提供服务并负责雇佣、福利和保险,不持有任何知识产权;相关知识产权已在代币发行时转至基金会。Wynd 与基金会之间的往来须经董事批准;按照预期的激励对齐安排,Wynd 团队也持有代币。

  • Yan 提到一项预测:到 2030 年,AI 数据市场规模将达到 1000 亿美元。Andrej 认为,Grass 在预训练、推理、偏好数据、合成轨迹和强化学习等领域都有扩张机会。大型原始数据集可以用于生成合成数据;更好的网络访问能力则能改进学习环境。他还认为现有的消费者分发网络有更多用途,同时承认部分类别目前不是优先事项。

  • 被问到资本需求时,Andrej 表示 Grass 可预见地还会需要更多资金。随后 Yan 转述了一位未具名 AI 实验室联合创始人的观点:护城河可以是比竞争对手更有效地利用每一美元投资。Andrej 称这是很好的护城河,也认同从每笔投资中创造更多价值是个值得探讨的思路。