打造金融服务版 ChatGPT——OpenAI 金融服务负责人 Joseph Kim
本篇先锋
Joseph Kim
Richard
摘要
- ChatGPT for Financial Services 将可靠的数据获取作为企业产品的核心组成部分。 Joseph Kim 表示,一些知名 MCP 连接器的错误率超过40%,因此团队选择将数据打包进产品,尽管客户可能为已有授权重复付费。Morgan Stanley 和 Evercore 是设计合作伙伴;Kim 说,数据如今是客户排名第一的正面反馈。
- Kim 预计,ChatGPT 插件业务将达到10亿美元规模,因为垂直领域的专业化能补上产品最后20%的关键差距。 Codex 大约能完成80%,但原样推出金融产品“会失败”;不过,“我们构建的95%”完全是初创公司或其他企业能够做到的。所谓“秘密配方”可能是数据、界面改动或集成,而金融领域的训练成果也会进入主模型,供外部开发者使用。
- OpenAI 内部的采用率跃升,说明合适的产品形态可以释放已有的模型能力。 2月桌面应用发布前后,财务、法务和销售团队对 Codex 的使用率从接近0升至90%,工程团队的使用率则稳步攀升。Kim 的产品使命是让“尽可能多的用户都能用上模型智能”。
- 当前产品的安全机制依赖人工复核模型的工作。 根据任务不同,模型可能完成30%或80%的工作,但审查仍由分析师负责。随着自主性在2027年和2028年提升,Kim 希望智能体的权限和监督机制“看起来像一个人”,并借鉴现有职场管控方式和银行业的层级审核制度。
- Kim 预计,到2027年,人类判断力将成为模型能力中显著更强的一环。 他的训练方法是收集人类对成对结果的偏好:人几秒钟就能判断幻灯片哪个好,模型却可能推理很久仍选错。编程提供了先例——既有可验证的正确性,也有对设计是否简洁的判断;金融模型也有类似的“感觉”。
- 转向投资观点会让学习更难,因为判断结果可能要等3年。 Richard 追问,模型如何培养出与主流观点相悖的直觉;Kim 的回答聚焦于持续扩展规模、研究投入和 P99.9 级别的专家反馈。他预计2027年会有进展,同时承认,工作越接近 associate 和 MD 的职责,目标就越模糊。
- Kim 认为,有缺陷的金融基准测试会掩盖真实的能力提升。 OpenAI 已停止跟踪 GDPval,原因是该基准已饱和或失效;GPT-5.2 在金融评测中的得分持平后,调查发现答案键和提示词存在问题。他的团队希望建立一套投行评测,判断高分能否对应初级分析师工作的实际自动化程度。
精读
1. 创业公司已能触及金融产品的关键层
- Kim 将 ChatGPT for Financial Services 描述为一款企业产品:把消费者版 ChatGPT 的工具与公司专属模板、Daloop 和 S&P 等数据源结合起来。Morgan Stanley 和 Evercore 是设计合作伙伴。金融领域的训练成果会向上汇入 “Big Run”——主训练流程,最终形成类似 6-Ash 或 6-1-Ash 的模型;这些能力进入主模型后,也会开放给打造自有产品的初创公司和金融机构。
- 采用率的证据来自 OpenAI 内部:工程团队对 Codex 的使用率稳步上升;在2月 Codex 桌面应用发布前,财务、法务和销售团队的使用率接近0,发布前后则升至90%。Kim 将 OpenAI 称为一家“研究与部署公司”,并有意把研究放在首位;产品开发则让原本不会使用这些能力的人也能接触模型智能。
- Kim 说,这次开发与以往不同:产品、模型运行框架和研究团队都在同一屋檐下,给了团队更大的灵活性。他的判断有两面:Codex 的记忆、技能和持久性已经能支撑有竞争力的金融产品约80%的功能,但原样推出“会失败”。缺失的20%至关重要。尽管如此,“我们构建的95%都完全是初创公司或其他企业能做到的”,不必改动底层模型。
- 产品的大部分功能基于 ChatGPT 插件架构,也使用其他开发者能调用的同一套基础组件。Kim 把自己的团队比作基于 OpenAI 创业,并预计“基于 ChatGPT 插件可以做出一门10亿美元的生意”。有价值的增量可能来自数据、界面改动或集成:“秘密配方确实很值钱。”
2. 数据可靠性与熟悉的管控方式决定产品能否落地
- 把财报电话会文字稿打包进产品,起初很难自圆其说:客户可能已经有授权和 MCP 连接器,再收费就像重复收费。测试结果改变了团队的决定。Kim 说,一些知名 MCP 的错误率超过40%,因此团队把数据纳入自有体系,以端到端掌控体验。他表示,客户如今最肯定的就是数据。
- Richard 追问自主性不断提升的智能体会给金融业务带来哪些风险。Kim 说,上个月推出的产品以“始终有人参与”为前提:根据任务不同,分析师可能让模型完成30%或80%的工作,但仍须负责审查。他预计,到2027年和2028年,产品的自主性会继续提升。
- 对于下一步,Kim 希望安全机制“看起来像一个人”。Google 要求工程师在修改系统前满足可读性要求,体现了权限检查;银行业则有分析师、associate、VP、director 到 managing director 的层级审核链。Kim 认为,“人类犯的错和模型一样多”,现有的人类工作复核机制可以成为监督智能体的模板。
3. 判断力将成为金融工作中可训练的一环
- swyx 提出“犯一次错,职业生涯就完了”的担忧。Kim 否定了这种说法,但也作了条件限定:如果事实错误改变了结论,尤其是经过多轮审核后仍传到 MD 手上,就会很危险。他有信心认为,事实可靠性提升,加上现有审核机制,能让这类错误层层传递的概率“非常低”。
- 在 Kim 看来,剩下的短板往往是判断力:事实都没错,但“这页幻灯片很难看”。排版、颜色和给人草率的观感,仍会决定成果是否好用。他预计,模型到2027年会在这类“较软的目标函数”上有显著进步,关键是判断一个版本是否比另一个更好。
- 被问到如何训练判断力时,Kim 回到早期 RLHF 的方法:向人展示成对结果,让人判断哪个更好,再据此训练奖励模型。OpenAI 在幻灯片上做过这类训练。人几秒钟就能选出更好的版本;评分模型可能花很多推理 token 分析像素,最后仍然选错。Kim 说,技术上的答案很简单,实际操作却复杂得多。
- Kim 用编程举例,认为这一领域“已经做到80%”,既有可验证的奖励,也需要判断代码是否易维护、设计是否简洁。Excel 也有求和、引用错误等可检查项,同时还有专业人士所说的“感觉”:他们会调整输入,观察输出如何变化。swyx 将这一点与 Cognition 的 Frontier Code 和 SWE-bench 联系起来:正确不等于能从几份都有效的 PR 中选出自己愿意合并的那一份。
4. 投资观点让目标更难界定
- Richard 提出,资深投资者的直觉常常与主流观点相悖,而这可能带来丰厚回报。Kim 解释说,当前模型聚焦初级分析师工作有两个原因:模型擅长执行具体指令;人们也不喜欢繁琐的 Excel 和幻灯片工作,比如精确摆放 logo。展望2027年,他预计模型会开始承担一些 associate 和 MD 的工作,但这类工作的目标更模糊。
- 要验证一项投资观点,可能得“等上3年”才能看到明确的市场结果。Kim 认为提升能力很难,但“并非不可能”:需要优质数据、P99.9 级别的专家反馈、基础模型持续扩展,以及研究资源的优先投入。他有信心认为2027年会取得进展。开场片段中,他还说,预训练问题曾限制规模扩展,而“2026年,我们已经解决了其中许多问题”。
5. 更好的基准测试与领域知识仍是瓶颈
- Kim 对评测的警示有明确因果链:基准测试只是某项能力的代理指标;答案键或评分方式有问题,就可能引发奖励投机,让模型底层表现不佳却拿到高分。“做好一套评测非常难。”他对金融领域的判断是:“我们认为,目前还没有真正好的评测。”
- OpenAI 已不再跟踪或发布 GDPval。Kim 说,这套评测已经饱和,剩下的部分基本也失效了。谈到 GPT-6 Astra 时,他说 OpenAI 没有过多讨论内部金融评测。GPT-5.2 在一组金融评测上的得分变化不大,调查后发现答案键有误、提示词描述不清等问题。他也提醒,研究人员往往更愿意调查令人失望的分数,而不太会追查好看的分数。
- OpenAI 希望建立一套新的投行评测,判断高分是否意味着模型能够自动化相当一部分初级分析师工作。Kim 说,内部金融评测正在开发中。团队也在尝试把企业产品拓展到 Pro 方案的专业消费者:“希望很快能有一些不错的消息。”
- 领域知识仍是组织层面的制约。Kim 认为,优秀的产品管理能力是赢得这个市场的“主要瓶颈”,重点领域包括投行、股票研究和资产管理。金融领域需要主题专家;它不像编程那样有一个先天优势——训练编程模型的人本来就知道好代码是什么样。