先锋 趋势 方法 投研 作者
与 Onyx Security CEO Maxim Bar Kogan 打造企业级 AI 守护者
返回节目精读

与 Onyx Security CEO Maxim Bar Kogan 打造企业级 AI 守护者

摘要

  • Onyx 对这一品类的核心判断是,企业无法阻止自主智能体的普及,因此对其自主行动的监督将成为企业级基础控制。 AutoGPT 最早让这一前景初现,尽管当时“GPT-4 还不够好”;后来推理模型和 Claude Code 让这个市场真正形成。Bar Kogan 表示,企业无法阻止采用,只能转而降低智能体执行不合法或错误操作的概率。

  • 在 Onyx 的典型企业客户中,自主编码智能体已占全部智能体构成的超过50%,低代码自动化约占45%,内部自研智能体占2%。 随着 Claude Code、Cowork,甚至获批准的 OpenClaw 部署扩散,自主智能体品类的增速也最快。对投资者而言,关键变化是市场正从受约束的自动化转向权限广泛、内置控制很少的“几乎完全放开的智能体”。

  • 现有安全产品可以约束访问权限,却无法可靠判断,一个操作是按用户意图执行的,还是在错误上下文中执行了同样的操作。 重建数据库可能正是用户要求的操作,也可能是在处理无关任务时突然跑偏,酿成灾难。终端、API 和身份工具“并不知道 Claude Code 在想什么”,而代理只能暴露流量,无法回答某个操作是否正当。

  • Onyx 的技术押注是一套级联机制:由微型专用模型判断,何时应让成本高、能力强的智能体介入调查。 为每个运行中的智能体都配备一个前沿模型审查器,会在成本、延迟和可靠性上都不可行;因此,小模型只需学会回答一个问题:“我是否该让更聪明的智能体来看看?”Bar Kogan 认同 Sarah Guo 的快棋类比:日常落子靠直觉,只有在关键时刻才投入压倒性的计算量。

  • 漏洞发现成本的暴跌,让 Mythos 级别的模型立即成为企业安全问题,而不再只是炒作。 曾经看起来还要“20到50年”才会发生的事情,正在一股脑儿到来;Bar Kogan 表示,“市场并没有反应过度”。他的方案是立即打补丁,同时在身份、防火墙、终端和 AI 专用控制上补齐基础设施,并假定更强的进攻型模型无论采用何种上线策略都会到来。

  • Onyx 的目标超越一项安全功能,指向对先进 AI 的独立控制——Bar Kogan 称这是一个“千亿美元以上的机会”。 如果 AI 厂商成长为10万亿美元级公司,他认为客户会希望由另一方检查其系统,最终检查模型权重和激活值。机制可解释性可能难到仅凭人类无法完成,但比人类更聪明的模型或许能帮助“攻克”这一问题。

  • 这套护城河建立在结构性独立、对行为历史的特权访问,以及高度异质的模型市场之上。 Bar Kogan 预计,各实验室会消除越来越少见的“愚蠢错误”,但未必能消除源自某种与用户意图冲突的“半自觉或半意识视角”的行动。Onyx 获准查看智能体的历史行为,而企业因训练方面的顾虑,对把这些数据交给 Anthropic 或 OpenAI 持谨慎态度;同时,没有任何一家实验室能够保护客户采用的所有专有和开源模型。

精读

上游暂未提供,后续同步将继续补齐。