主题 先锋 趋势 方法 作者
返回

61. 在Harvey训练大模型是什么体验?- Joey Wang

·苔藓之火

正在生成长图…

本篇主题 AI训练数据与评测基准 AI垂直领域应用创业策略 Agent重构SaaS与软件形态 专有小模型与通用大模型 企业私域AI训练与真实算力需求 企业级多Agent编排与落地架构
本篇先锋 Joey Wang

摘要

  • Harvey的护城河,更接近随客户场景更新的法律评测能力。 本期给出的规模是155亿美元估值、3,500家客户、覆盖85国,美国前100大律所约80%已使用。Joey把核心判断归结为:模型什么时候才达到“一个律师真的会用的模型”的水平,而这种判断需要客户反馈、法律专家与数据taste共同积累。
  • 现阶段,工程优化比训练新模型更容易直接改善客户体验。 Joey举例,搜索从2秒降至200毫秒,同一分钟内可查的文件从30份变300份;再从一次搜一份变成10份并行,便可到3,000份,这是“立竿见影”的收益。自研模型则更像长期投入,用来探索效果、成本与未来profit margin的平衡。
  • 通用模型升级,会推动垂类产品重新设计工作流。 去年夏天,Harvey还用Workflow Builder逐步规定上传、反馈、prompt与分支,防止agent忘记任务或提前结束;今年则转向Agent Builder,用prompt与源材料描述交付目标。Joey举例,指定日本、新加坡法律材料,要求最终生成PPT,流程就可以更自由。
  • Joey倾向让强agent协调多个“小而美”的法律模型。 各场景先用benchmark选择基模,再做post-training;Joey公开提过Kimi、GLM及其他模型,Raymond也提到千问;DeepSeek Flash可能适合批量处理。Raymond把Tanner概括为当时采用Kimi K3,Joey回应训练并不绑定单一基模,也举例说可能用Kimi做Tanner 1.0。
  • 法律AI的产品价值,落在减少复核成本和保留修改依据上。 NDA审查需要理解客户哪些条款必须坚持、哪些可以让步,再以redline呈现修改与原因。Raymond的反例很直观:整份文件直接重写,反而让律师玩“大家来找茬”;可追溯的建议才能嵌入律师与对方谈判的过程。
  • 自研模型的收益必须与训练失败的可能性一起评估。 Raymond追问:OpenAI是80分,Kimi K3是78分,希望训到82分,跨不过去怎么办?Joey说也可能从78变成75,公开成绩背后有许多失败;训练成果未必部署给用户,学习能否用于下一次同样重要。
  • 团队共享agent的落地门槛,集中在权限与上下文管理。 Joey希望多人在Slack里共同补充同一个context,看到相同的tool-call trace并认可结果。前提是公开与私有信息、个人权限及代码review规则都被执行,员工还必须相信,“明天老板也拿不到”自己的私聊内容。
  • Harvey当前优先寻找能管理AI结果的design partner。 小律所的需求与既有产品未必匹配,self-serve还可能让用户过度相信答案、误以为Harvey承担结果责任。Joey强调双方都要具备信任与管理能力:“他们信任Harvey,Harvey也能信任他们。”

精读

1. Harvey已进入多数美国头部律所的工作现场

  • Raymond介绍,Harvey估值155亿美元,有3,500家客户、覆盖85国;Joey补充,美国前100大律所约80%已使用,公司约1,500—1,600人,客户包括律所与企业法务。
  • Raymond推测Joey约在2023年加入;Joey自述是大约3年前加入。此前他是Figma第一个移动应用工程师,也在Uber工作,早期在Harvey负责History、Vault。
  • Joey加入Harvey,是因为一位他关注已久的PhD兼Twitter influencer介绍他认识公司,后来此人也成了Harvey的第一位recruiter。Joey认为这位PhD愿意加入,说明他对领域有conviction;与创始人交流后,他觉得Harvey可能代表下一代软件公司的样子。
  • 他想找回“把事情做出来”的速度:有想法、客户也需要,做出来后客户就会开心;大公司后期的审批与部门拉扯让这种体验越来越少。

2. 产品先嵌进律师已有的工作方式

  • Joey把垂类产品的起点放在客户怎么工作:Word审合同、Excel比较资料、Outlook协调邮件。Harvey通过connector连接这些系统,生成文档、提出修改,交付仍是律师熟悉的形式。
  • NDA审查的难点,是分清哪些条款必须改、不能改,哪些可以让步。Harvey要结合客户过去的做法处理新任务;Joey说,这建立在客户信任Harvey、把数据放在自己的云服务中并允许Harvey访问的基础上。

3. Redline把修改变成可追溯的建议

  • Raymond的观察是,直接重写整份合同,会让律师玩“大家来找茬”;redline展示删除、替换及解释,律师逐项复核、决定是否接受,工作量才真正减少。
  • Joey补充,系统还要区分修改来自Harvey、客户还是对方律师,并说明原因。这类似代码里的PR与commit,核心是audit trail:能追溯编辑究竟怎么来的。
  • 导出时,Harvey的修改会显示为律师自己的名字。律师也可能保留这些修改为待讨论建议,而非全部接受;对方仍能看到提出了什么改动,最后再形成final version。

4. 法律agent也可能参与决策与创意

  • Joey希望Harvey能提供法律决策中的taste。有客户反馈,繁琐工作处理完后继续讨论项目,Harvey提出了不少他“之前没想到的点”。
  • Joey提到,Harvey有法律知识和大量上下文,可以像合伙人一样与律师交流;他也把生成式模型的创造性作为愿景的一部分。不过,目前有些厉害的partner已经这样使用AI,并不代表所有人都能直接把AI当成partner。
  • 谈到公司名字时,Joey表示自己不能承认或否认名字是否来自《Suits》;他解释的目标是参与法律决策,而不只是处理繁琐工作。

5. 模型升级让逐步编排转向目标描述

  • 早期创始人用GPT-3.5跑法律流程,与人工结果比较,再展示给OpenAI的general counsel,随后拿到GPT-4的early access。Joey称,Harvey如今也帮助模型厂商评测、改进法律能力,双方“相辅相成”。
  • 去年夏天的Workflow Builder规定上传文件、用户反馈、prompt与分支,供团队复用。当时agent可能做到一半就忘记任务、提前结束,或没索取材料便生成结果。
  • 今年转为Agent Builder:给prompt与源材料即可描述目标,比如依据日本、新加坡的法律材料生成PPT。原先需要人逐步维护的流程,变成更自由的任务交付。

6. 自研商业化建立在多年研究与场景积累上

  • Joey说,Harvey早期团队里大多是做模型的research人员;他加入时真正的瓶颈是产品,PM和designer还没到位,不少产品设计与spec由他自己做。
  • Joey纠正,创始团队有人来自Google DeepMind,也有人来自Meta FAIR。公司早期与OpenAI合作很深,一起做过pre-training;也曾与PwC合作做text model并尝试卖给更多客户。
  • 但通用模型变好后,专门训练的pre-training模型可能逐渐不如通用模型;有限数据上的post-training也未必能赶上Anthropic、OpenAI或Gemini的迭代。
  • 今年的变化是客户反馈足够丰富:不涉及客户数据和隐私的反馈与场景描述,能帮助Harvey理解法律市场、模拟几十或几百类法律任务,生成synthetic data与benchmark,再支持post-training,在效果、价格和latency之间做权衡。

7. 数据taste决定评测是否贴近客户

  • 数据量之外,Joey强调“对于数据的taste”:团队要判断什么数据好、什么数据不足,以及评测是否真的与客户效果相关。若训练目标是一句话概括所有事情,未必适合律师;律师可能需要长篇论证,而且“每句话都要有索引”,能追溯来源。
  • benchmark也要跟着实际使用方式更新,甚至覆盖用户未来可能使用的场景。对暂不确定的新评测,团队会对照真实任务做shadow run和A/B test,检查它是否反映客户需求。

8. 强agent可以协调一组法律专家模型

  • 模型选择先看具体场景的benchmark,走“小而美”的路线;Joey公开提过Kimi、GLM及其他模型,Raymond也提到千问。DeepSeek Flash可能适合不要求特别强的智能、却需要批量处理的任务。
  • Raymond担心多个细分模型太复杂;Joey认为可能由强agent统一delegation,如有能力的领导把产品、前后端、infra、security分给专业人士。他也明确说,这包含个人对架构的判断。

9. Tanner探索的是训练方法与合作组合

  • Joey把Tanner描述为一个方向,也是目前较有前景、规模较大的训练模型之一;它在M&A或due diligence相关工作上表现较好。Raymond将当时基模概括为Kimi K3;Joey回应并非只能训练某一个基模,也举例说可能用Kimi做Tanner 1.0。
  • Raymond以Fireworks为例提出底模与合作方的矩阵;Joey解释,内部bandwidth有限,不可能把每种组合都做一遍post-training或fine-tuning,因此会与不同labs按不同方式尝试、交流学习。
  • Joey愿意公开训练方法,因为他认为真正的moat在于判断何时达到“一个律师真的会用的模型”的门槛;合作lab无法替Harvey判断模型是否适合法律工作。

10. 法律benchmark从可重复的判断逐层扩展

  • Raymond的质疑值得保留:同一个case交给十位资深律师,可能先吵起来;法律并非1+1=2,很难像代码能否运行那样直接判定。
  • Joey的回答是分层,从稳定、可衡量的任务开始。内部律师持续审核NDA和合同,积累playbook中不同情况下的yes/no判断,再据此优化post-training、fine-tuning、RAG或其他方法。
  • 更复杂的rubric依靠各领域法律人士扩展,他们可能从事法务、research、sales或forward deploy。招聘也看客户是否愿意与其交流,他们的理解能否反映前沿法律实践。
  • researcher的重要能力,是与专家提炼判断、enable他们。部分benchmark及evaluation engine甚至由律师借助coding agent编写,因为律师更清楚什么对、什么错。

11. 规模化标注需要人类,也需要用户校准

  • 内部先确定方向、sample query、结果及评测标准;前10或50个样本做好后,从50扩到500、5,000才进入流程化问题。外部vendor可协助标注、评分,Joey举Mercor为例。
  • 语言模型可以做一些评估,但Joey不主张完全相信模型:否则模型本身会成为瓶颈,训练上限也可能被评估上限限制。
  • 被问到评测很好、上线却不受欢迎的实例,Joey没想起具体feature。他强调要据用户反馈改数据集与评测,客户看到的可以是“一个不断进步的Harvey”。

12. 公开的模型成绩背后有长期失败

  • Joey说,benchmark能先帮助看清模型表现;如果最佳开源模型在法律评测上已经超过OpenAI或Anthropic,再以它做post-training,就有机会做得更好。他称这种基模表现可以作为一个下限,但并未保证post-training必然提升。
  • Raymond提出假设:OpenAI是80分,Kimi K3是78分,希望训到82分,跨不过去怎么办?Joey随后承认,也可能从78变成75,训练成果并不一定部署给用户。
  • Joey说公司从早期就在尝试pre-training、post-training与fine-tuning,过去有不少失败。他更看重学习能否用于下一次,并权衡quality、latency、cost、reliability、可解释性及律师满意度;便宜却不好用并非客户所求。

13. 工程先改变体验,自研再检验利润空间

  • 只剩100块钱,该优化harness还是试新post-training?Joey优先看用户马上能感知的收益:工程仍有很多low-hanging fruit,模型则一直是长期experiment。
  • 他的例子是document search从2秒降至200毫秒,同一分钟从查30份变300份;再从一次只能搜一份变成10份并行,就能到3,000份。agent看到的材料增加,无论使用什么模型,都可能得到更好的结果。
  • 模型投入还关乎未来如何盈利、profit margin能否支撑上市公司。Joey认为Harvey现阶段可以思考,但对很多早期创业公司,这未必是投入回报最好的地方。

14. 模型选择服从客户条件与使用偏好

  • Joey称,OpenAI作为投资人并不要求Harvey只用其模型,更多提供交流与反馈渠道。选择取决于客户需求、当地可用性,以及能否保证access、capacity、reliability和performance。
  • 有些用户希望默认用Claude;Joey说按Anthropic的政策,数据会在Anthropic保留30天,“我们看不到,但Anthropic能看到”,需要律所或企业法务接受这一条件。
  • Raymond推测自研模型使用量还比较少、主要使用OpenAI和Anthropic模型,Joey回应“对”;他也说具体使用量不太清楚,即使知道也不方便透露。Joey补充,Anthropic模型的长篇解释有时显得啰嗦,但律师可能正需要知道修改理由。

15. 共享agent让团队在同一上下文里协作

  • Joey说他最早约在今年2月做了一个sandbox-agent prototype,把Claude Code、Codex、Cursor、Devin等coding-agent harness放进云端运行,让工作流更并行,也不受个人电脑硬件限制。
  • 他不希望经理提一个问题后,五名工程师各自在本地跑agent,再贴出难以复核来源的答案。团队可以进入同一个agent runtime或conversation context,各自把想法告诉agent,由agent协调并产出结果。
  • Joey设想的产品可以在Slack里多人tag,大家看到完整的thinking与tool-call trace,再共同认可结果。选择员工本就在用的harness,也考虑了熟悉度与信任。

16. 权限边界决定共享agent能否被信任

  • 难点在于区分每个提问者的权限、可访问资料,以及公开/私有channel的分享范围。Joey需要与security、IT协商边界,并确保每个agent遵守相关访问规则。
  • 例如内部要求代码提交到production前要有两个人review;agent不能绕过这项规则。还要防范一个人让另一个人的agent改代码再直接提交等edge case。
  • Joey给出的信任标准很具体:员工今天与agent私聊,必须相信“明天老板也拿不到”这段内容。如果担心内容会被别人看到,用户就不会愿意继续分享信息。

17. Harvey当前优先寻找能用好产品的design partner

  • Raymond提出大律所走SLG、小律所采用类似Figma的PLG。Joey回应,小所要的东西Harvey未必有,也可能不在乎已有功能,因此产品价值并不容易传达。
  • 更关键的是,self-serve可能让用户过度相信结果,误以为Harvey负责。Joey认为法律后果比代码更严重,当前应优先找有规章、能管理结果的design partner:“他们信任Harvey,Harvey也能信任他们。”

Verification Notes

  • transcript开头称Harvey的内部云端agent平台为“Spire”,后续讨论由Raymond称共享agent工具为“Spectre”;文本没有说明两者是否为同一产品。
  • Kimi K3是Raymond对Tanner基模的概括;Joey没有明确锁定Tanner的具体基模,并表示可能与不同vendor训练不同模型。