George Sivulka,Hebbia 联合创始人兼 CEO:基础模型的未来|E1250
George Sivulka,Hebbia 联合创始人兼 CEO:基础模型的未来|E1250
摘要
- Sivulka 的核心市场判断是:所有 AI 公司都被低估了,S&P 500 也一样。 他的逻辑是:如果电脑在过去60年创造了约100万亿美元的股市价值,那么 AI 算力将在未来60年再创造100万亿美元,并在未来几十年让“超过50%的GDP由智能体应用贡献”——Harry 认为这一进程会更快。这是增量价值,而不是被蚕食的价值,也会抬升非AI老牌公司的价值:“只要使用方式正确,电脑会让传统企业变得更好。”
- 最激进的相对价值判断是:OpenAI估值约160、Anthropic约40、xAI约50时,xAI是最被低估的公司。 他认为,未来12到24个月,xAI“可能在价值上超过OpenAI和Anthropic”。理由包括Elon Musk的地缘政治定位、运营人才,以及更精简、没有那么多“行政臃肿”的业务结构;他还相信政府是最大的AI用户之一。
- 模型层将商品化,价值会流向硬件以及应用/智能体层。 Nvidia真正的护城河是人才——接受过CUDA训练的机器学习博士——这对训练仍然有效,但对推理的保护较弱。因此,从训练转向推理的宏观变化“会稍微动摇Nvidia芯片的主导地位”。他对这轮AI浪潮的公开市场选择是:“我可能会买Nvidia……或者更准确地说,AMD”,因为AMD会以超预期的方式受益于推理扩张。
- 这位在2020年率先将RAG投入生产的人,如今却说:“我们实际上认为RAG根本不起作用。” 真实企业查询中约90%都无法在文档里直接找到答案,它们问的是文档“所代表的问题”,比如“这家公司是不是一笔好投资”;而且当前90%的企业AI几乎都是“烟雾……fugazi fugazi”,包括Klarna裁员故事也很可能如此——“我认为那是胡扯……一个很棒的营销故事”。
- 他的替代性判断,也是Index和Thiel基金投下1.3亿美元的逻辑,是推理阶段的 scaling laws。 与其等待更大的模型,不如对每份文档运行数百或数千次子模型调用。他用BloombergGPT举例:它基于“有史以来最好的金融服务训练集”训练而成,却在几周后被GPT-4“在每一项金融任务上彻底击败”,尽管他也说自己不知道确切时间线;垂直化微调“永远追不上”规模扩展。
- 与邻居Daniel Dines关于企业采用速度缓慢的共识相反,他指出Excel在金融业只用了18-24个月就达到90%的渗透率。 时间是1985-86年,行业当时还在使用HP12C:金融业“是行动最慢、最慵懒的巨兽……除非你提供超额alpha,否则金融业会比任何其他行业都更快”。
- 几条值得保留的快问快答是:他今天不会以20亿美元出售Hebbia;被问是否信任Sam Altman时,他直接回答“不”;他完全不同意SaaS关于业务应用会坍缩为智能体的判断;他认为聊天不是正确的界面。 在他看来,这“就像问TI-84是不是计算机的正确界面”。
精读
1. 3种创始人原型——以及永远不会离开的那块芯片
- Sivulka开场给出了自己的创始人分类:“伟大的创始人大致可以分成3类——最常见的是童年经历比较糟糕;第二常见的是同性恋;第三常见的是被收养。”他的例子是:Elon Musk童年经历糟糕,Bezos和Jobs被收养,Thiel和Altman公开出柜。背后的机制是:早期的错位感会催生证明自己的动力。
- 他自己的版本是:出生于Staten Island,母亲被他形容为可能是“黑手党家庭的孩子”,父亲来自斯洛伐克、逃离了铁幕;两人原本都想成为职业运动员,结果唯一的儿子却“在足球场上追蝴蝶”,在一所父母“几乎不知道Stanford是什么”的学校里成了数学少年。被问是否觉得自己让父母失望时,他回答:“答案是肯定的……有点像丑小鸭。”Harry也用自己的经历接住了这个话题——节目的收尾是:“但那块芯片还在,它不会消失。”
2. NASA的雪天故事——把坚持变成一套信条
- 他的成长故事是这样的:NASA实习只招本科生,他连续5次被拒;15岁的他却在一个下雪天擅自跑到位于曼哈顿的NASA Goddard,被赶到门外后坐在雪地里哭。做医疗销售的母亲告诉他:“你给我坐下,把所有能打进这栋楼的电话号码全部打过去。”后来有人接了电话,他花了2个小时推销自己,面试搞砸后,连夜记下教授墙上每张海报的标题,第二天顶着寒风再次回来,最终无偿工作并发表了国际认可的研究,也因此进入Stanford。
- 他由此总结出的信条非常绝对:“你可以把一个柠檬水摊做到1亿美元ARR……你真的可以用蛮力解决世界上的任何问题。”坚持唯一改变的变量,是抵达目标的速度。进入Stanford之后,他没有停留在庆祝上:“下一个……第二天我就开始想,好吧,我怎么才能成为学校历史上最年轻的博士生?”
3. GPT-3偷走了他的论文方向——于是他转而打造产品
- 当时他是Stanford历史上最年轻的博士生之一,研究方向是元学习。2020年6月,GPT-3横空出世;那篇论文的标题几乎就是他的研究议程:“大型语言模型是多任务学习者,或者说元学习者。”他的反应是:“他们直接从我手里偷走了我能研究的最重要的东西——好吧,如果我做不出最重要的技术,那我怎么才能做出最重要的产品?”
- 这一产品洞察至今仍然定义着Hebbia:“我甚至不认为ChatGPT是一个真正好的产品——它就像一个计算器……它不是Excel那种让你随心所欲构建东西的产品。”他观察到,许多朋友进入投行和PE后,回来时成了“最不快乐的自己”;“金融服务业在处理非结构化数据方面的痛苦,是我见过最严重的。”
4. 衣柜、Thiel早餐与融资级联
- 创业初期,他离开了年薪约4.2万美元的Stanford Graduate Fellowship,在East Palo Alto一栋房子里租下“主卧衣柜”,每月支付500-600美元;地板上轮换放着宿舍床垫和Home Depot折叠桌。他像僧侣一样每天工作16-18个小时,半夜醒来检查训练任务,以节省GPU额度。一位前老板在Zoom路演时差点哭出来:“你过来这里工作吧——你这是在折磨自己什么?”他自己的评价也很克制:“我可能逼得太过头了……这对健康有害,但那是一座熔炉。”
- Thiel的故事是这样的:一位曾在Founders Fund实习的朋友牵线后,他没谈赢午餐还是早餐,喝了“18杯咖啡”,凌晨3点到早上8点开着一辆从Craigslist买来的4000美元、2006年的Audi,赶到Thiel家。Thiel迟到了将近1个小时,原定30分钟的早餐最终聊了4到5个小时,从业务缺陷、数学一路聊到“深奥的玄学哲学”,最后Thiel说:“我不会投资……但我很愿意开一张支票。”他开车离开时放着Kanye:“我感觉自己被招募进了光明会。”
- 在Sivulka看来,Thiel既有“本体论上的聪明”——理解世界模型、识别模式——也有“现象学上的聪明”——理解人和流程如何运作;他总是在事前追问:“我能不能提前预测到这件事?”融资随后级联:Thiel和Floodgate投下约100万美元种子前融资;Index的Mike Volpi通过自己在Stanford读书的女儿听说Hebbia,又追加了约200-250万美元;Index以约100万美元收入领投3000万美元A轮,最终走到1.3亿美元融资。种子轮合伙人电话发生时,他身后还挂着衣服:“Mike说,听着,他住在一个衣柜里——所有人都说,啊,真是个伟大的创始人。”
5. RAG的创造者:RAG根本不起作用
- 他刻意抛出了这个反转:Hebbia在2020年“第一个把检索增强生成投入生产”,但现在“我们实际上认为RAG根本不起作用”。数据来自几家大型金融机构的已部署查询:人们提出的问题中“几乎90%无法通过搜索文档回答”;答案不在数据里,而是关于数据本身。他举的例子是:拿营销材料——“通常都是一堆废话”——去回答“这家公司是不是一笔好投资”;真正的工作是提炼事实,而不是寻找引文。
- 随后的行业批评同样尖锐:“现在90%的企业AI几乎都是烟雾……看看这个多棒的演示——但一旦真正放进现实世界,它就彻底失败。”很多使用数据都只是某种“我最喜欢的说法之一:fugazi fugazi”。Hebbia给出的反向口号是:“停止用AI做实验,开始用AI创造价值。”
- 关于RPA的边界,他说自己“不太相信RPA”,认为那是“10年前意义上的AI”。Hebbia的查询会跑过800页的信贷协议和230页的CIM,回答“告诉我哪里存在我们可以触发的违约事件”。他认为Daniel Dines的表述“说得很好”,但Hebbia捕捉的是高层次、模糊的决策过程,并一路追溯回具体引文。
6. 推理阶段扩展——新的规模定律,以及微调为何永远落败
- 这是他约18个月前开始转变看法的方向:如果无法足够快地训练更大的模型,“那就拿当前最先进的模型多运行几次——让数百甚至数千个子模型处理每一份文档,回答同一个问题。”OpenAI的o1会在作答前递归地多运行几次模型;Hebbia Matrix则在编排层扩展推理。他的比喻是:这不是更大的发动机,而是一辆“Tesla——由一堆更小的机电马达组成,却能产生很大扭矩”。
- 最关键的例子来自Bloomberg:它拥有“有史以来最好的金融服务训练集”,训练出了BloombergGPT,一款GPT-3.5级别的模型;但GPT-4发布后——他记得是几周之后,不过也说自己不知道确切时间线——“在每一项金融任务上彻底击败了BloombergGPT”。他的结论是绝对的:经过精炼的垂直化模型“总会输给规模定律”,其他玩家无论如何微调模型,都“永远追不上”推理扩展。
- 有2个需要保留的诚实保留意见。关于数据是否会耗尽,Harry拿视频和合成数据反驳时,他承认:“这只是直觉——我自己并不特别参与数据采集。”关于资本效率,他说:“智能的成本会降到0”;固定参数量的单次推理成本在4年里下降了“7个数量级”,因此“没错,我们运行的LLM调用次数可能超过任何人认为必要的程度,但我们的准确率是业内最好的……每个季度我们的利润率都在上升——我们花钱的速度还不够快。”
- Hebbia刻意保持模型中立:Anthropic在密集型法律文件和口语化文档上表现更好,其他任务则使用o1或GPT-4o;具体工作会根据准确率与速度的权衡,在OpenAI、Anthropic和Gemini之间拆分。
7. 100万亿美元论点——所有东西都被低估,包括S&P
- Harry直截了当地说:“我还是没法完全理解这个判断。”Sivulka随即给出完整论证:如果电脑的普及在过去60-80年创造了约100万亿美元的股市价值,那么AI算力将在未来60年创造同等规模的价值,并在未来几十年让“超过50%的GDP由智能体应用贡献”;Harry补充说:“我其实认为它会更快发生。”这不是替代,而是增量价值:“也许我是过度乐观的技术乐观主义者,但所有这些公司都被严重低估了,包括那些搭上这轮浪潮的非AI公司。”
- Harry进一步追问:此前每次技术迁移都需要10年以上,而AI的采用却是“即时的”,这难道不会改变赢家吗?Sivulka用火到火炬的比喻回答:真正耗时的是“把技术变化封装起来,并在其上构建一个有用的产品……如果Excel是计算时代的那个产品,那么Hebbia已经为AI构建了那个产品。”今天的聊天机器人只能提供“表层价值——它能帮你的孩子作弊完成作业,但判断某件事是不是一笔好投资,是丰富得多的问题。”
8. 企业采用:只有alpha真实存在时,金融业才会最快行动
- 针对Daniel Dines关于企业惯性被低估的看法——Dines既是他的邻居,也是“教我打枪的健身伙伴”——他给出了历史反例:Excel在1985-86年间只用了18-24个月,就在金融业达到90%的市场渗透率;当时所有人都还在用HP12C,而由信用卡数据驱动的投资也只花了2年。“金融业是行动最慢、最慵懒的巨兽……但如果你提供超额alpha或真正的价值,金融业会比任何其他行业都更快。所以我其实是在押注这一点。”
- Harry担心学徒制会消失:初级员工不再经历分析公司的“苦活”,未来的决策者因此永远无法毕业。Sivulka的反驳是——他也承认这可能有些天真——合伙人依赖的是40年里记住的20笔交易,而使用Matrix的初级员工可以读完“公司历史上的每一笔交易”,然后量化地说:“这家公司在所有这些投资标准上都处于90百分位,我们应该支付90%的溢价。”他的判断是真诚的:AI“会让人类变得更强”,会“增加使用它的公司的AUM”,并推动更多就业,就像Excel改变了工作岗位,而不是简单消灭岗位。
- 他用一个标准检验那些喧嚣的AI故事:“我认为那是胡扯……一个很棒的营销故事。当你把它喊得震天响时,几乎总意味着你在内部对某件事感到恐慌——行为本身已经否定了内容。”
9. 模型会商品化,云仍然有粘性
- 这项判断如今“已经不算热门观点了——我几年前就一直这么说”:模型层会商品化,价值会流向硬件、基础设施和应用/智能体层。Harry拿云计算作类比:云虽然商品化,却仍然是好生意。Sivulka的结构性反驳是,云计算是由少数根深蒂固的玩家组成的“OPEC式寡头”,创业公司切换云服务商要付出1000万-2000万美元;而模型只需要一个简单的API key,“OpenAI宕机时,整个行业都可以把模型从OpenAI切到Anthropic”。他同意云厂商会把模型当作巩固自身护城河的亏损引流产品,例如Anthropic之于Amazon、OpenAI之于Microsoft。
- 关于Nvidia,他说:“最好的护城河不是技术护城河,也不是数据护城河——而是人才护城河。”CUDA是每个机器学习博士学习训练模型的方式,因此能够保护训练业务;但“对推理而言,你用什么没那么重要”。从训练转向推理的宏观变化,会“稍微动摇Nvidia芯片的主导地位”,为AMD和定制ASIC打开空间。总体判断仍然看好Nvidia,但“对其他芯片制造商更看好”——可能是大型科技公司和AMD,而不是新一代Cerebras式公司,因为“芯片很难做”。如果只能选一只AI浪潮股票,他的答案是:“Nvidia——或者更准确地说,AMD。”
10. 50倍估值的xAI是买入标的——再加上Altman、Doge与作为杀毒软件的祈祷
- 在OpenAI估值160、Anthropic估值40、xAI估值50的情况下,他的判断是:“xAI是最被低估的公司……未来12到24个月,xAI可能在价值上超过OpenAI和Anthropic,这很疯狂——但我认为它们都被低估了。”逻辑包括Elon Musk的地缘政治位置——政府是最大的AI用户之一,而能源和核能是瓶颈——运营人才,以及更少的“行政臃肿”。“如果模型最终商品化,谁能最快完成模型创建和部署,谁就可能开始胜出。”他举出的证据是xAI在短时间内建成最大GPU集群的能力。至于Doge,他认为:“这会是他最大的挑战……按支出和员工人数计算,这是世界上最大的组织,不会像Twitter那么简单。”
- 针对SaaS行业关于应用会坍缩成智能体的判断,他说:“我认为他完全错了。”Hebbia真正要回答的问题是:“AGI会想使用哪些应用?”AGI宁愿用Matrix完成一家公司尽调,也不会在超长上下文窗口里“手动”阅读数千份文件。而1万个智能体员工会带来“管理问题”:智能体越强,就越需要让人类能够理解;聊天“始终只是一个有用的功能……就像问TI-84是不是计算机的正确界面”。他对Hebbia的定位是:“Hebbia是定义AI界面的Bell Labs。”
- 商业化机制上,90%的市场仍处在实验预算阶段;CTO和IT“其实是最不了解业务的人”,应该由最接近工作流程的业务用户推动采用。Hebbia刻意采用按席位收费:“当你按消耗量收费时,你是在抑制变化——每次使用AI应用都要受到惩罚。开什么玩笑。”
- 快问快答同样暴露了他的真实想法:今天不会以20亿美元出售Hebbia;被问“你信任Sam Altman吗?”时,他只回答:“不。”他相信UFO真实存在,也相信“美国政府掌握着”本质不同的推进技术。他刻意隐藏的一面,是自己在这个无神论者聚集的行业里有很深的宗教信仰:每天早上祈祷1个小时,把它称为“人类心智的杀毒软件……我在Hebbia最好的很多想法,都来自安静的时刻”;另一个连接潜意识的渠道,是他创作的3米高油画。