Snipd:用于学习的 AI 播客应用——与 CEO Kevin Ben-Smith 对谈
摘要
Snipd 通过证伪最初的产品假设找到了方向:用户喜欢类似 TikTok 的发现流,但他们仍会听完整节目,还疯狂创建 Snips。 4人组成的纯技术团队由此从社交切片转向学习系统,捕捉、总结并保存播客知识;在耳机上连按3次,就能把刚听到的内容转成笔记。这些行为证据为业务明确了任务:阻止听众在条件反射般点开下一集前遗忘“99%”的内容。
如今的切入点更像是覆盖在音频之上的结构化知识层,已处理超过100万档播客。 节目可以获得文字稿、带说话人分离和姓名标注的音频、嘉宾简介、AI章节、书籍提取、作者关联节目、带时间戳来源的聊天,以及保留原文和音频的 Snips。动态广告会打乱固定时间戳,因此 Snipd 构建了模糊音频匹配系统——“基本上就是播客版 Shazam”——让用户实际收到的任何音频文件都能重新对齐。
Snipd 的模型策略同时考虑毛利率和延迟:对成本敏感的转录、说话人分离模型自行部署,其余高阶任务则根据最低所需智能水平,在 OpenAI、Gemini 和 Perplexity 之间路由。 Perplexity 搜索的报价约为每1,000次5美元,明显高于普通 LLM 调用;Kevin 欣赏 Claude 3.5 Sonnet 的措辞、个性,但由于成本较高,团队会在许多工作负载中选择其他模型。可预测的预处理任务持续运行,突发的用户请求则留在 API 上,Kevin 将其比作“AI 领域的 AWS”。
产品的护城河在于生产可靠性,而不是演示的低门槛:节目聊天15分钟就能做出原型,但要做到“99%的时间”正常运行,需要提示词格式、前端渲染、启发式规则和无数正则表达式。 Snipd 在创业公司的“凭感觉评估”之外,还采用 LLM-as-judge:先用便宜模型生成5个候选结果,再让更强的模型挑选,用于名言、书籍和说话人识别。目前托管式闭源模型仍占优,因为迭代速度比不确定的开源模型节省更重要。
消费级 AI 的机会在于隐入工作流,因为“你已经可以问聊天框了”并不等于打开应用后,个性化摘要已经按用户需求生成并呈现出来。 Kevin 不断回到“待完成的任务”:点击文字稿中的一个词就跳到对应音频,这种简单交互可能比模型的新奇程度更重要。他的终点判断是,“AI 是未来的电力”——最终 Snipd 应该只是一个默认具备智能的播客应用。
语音是 Snipd 设想中的学习闭环:节目结束时,用一段2至3分钟的对话迫使听众选出一个收获,并把它连接到行动。 每月超过5亿播客听众已经具备收听习惯,因此 Snipd 不必像 Duolingo 那样靠猫头鹰、连续打卡和通知制造新习惯。Kevin 认为这可能让单集节目的价值提升“10倍”,但也明确表示具体交互仍需实验。
扩张方向覆盖内容、发现、视频和创作者,但分发激励将决定 Snipd 能拥有整条技术栈中的多少部分。 Kevin 希望加入原生有声书、YouTube、AI 生成内容、可与用户对话的推荐系统,以及“可后台播放的视频”;这类视频即使约90%的消费伴随其他活动,其主要优势仍在发现。swyx 的反提案是创作者工具——坐下、录制、按一个按钮、完成——因为 YouTube 已经是最强的播客平台;迁移困难,以及托管在 Substack 的节目无法通过 Apple Watch 播放,暴露了机会与平台风险。
精读
1. 需求,而不是黑客松奖杯,造就了 Snipd
Kevin 在苏黎世联邦理工学院学习数学和经济学,主攻量化金融。但回头看,最能说明他与这条路匹配度不高的信号是:“我从没在业余时间读过一篇关于这个领域的学术论文。”一位朋友发给他机器学习课程的讲义;一个周末后,他的反应是:“我靠,这就是了。我爱上它了。”
他不断在银行里寻找应用机器学习的理由,最终意识到,要追逐这条路就必须“彻底转向”。Kevin 辞职,随后在一家苏黎世早期创业公司负责了5年 AI 团队,交付银行销售模型,并把晦涩的交易入账文本转成易读的商户描述。
那位朋友后来与他一起参加 HackZurich,做了一个播客自然语言搜索工具。他们在2个半小时的 Joe Rogan 节目里搜索“抽大麻”,准确找到了 Elon Musk 的对应片段。获奖提供了“启动能量”,但更强的验证来自其他参赛者立刻追问:“我能用吗?”并说出了相邻的需求。
Snipd 依然异常精简:团队只有4名技术人员,2人负责后端和 AI,2人负责前端。这支团队同时维护 iOS、Android 和 Apple Watch 应用。产品采用免费增值模式,Kevin 还提供了一个可免费使用1个月高级版的链接。
2. TikTok 式假设失败,暴露了真正要完成的任务
Snipd 的首个版本约在3年半前上线,当时 ChatGPT 和 Whisper 尚未出现。最初的概念是一个社交化、类似 TikTok 的信息流:部分用户收听完整节目,把精彩片段剪成 Snips,其他人则通过这些片段发现播客,或把它们当成达到某种目的的工具。
创始人原以为吸引用户观看 Snips 容易,说服用户创建 Snips 困难,因此激进地优化创建环节。现实恰好相反:用户喜欢通过片段发现播客,但仍想听长音频——“他们疯狂地创建 Snips”。于是,Snipd 将重点转向捕捉、留存和学习。
swyx 曾通过更早的“个人混音播客”亲身经历过这种痛点:记下时间戳和 URL,之后下载 MP3,手动剪出5至10分钟的片段,录制评论,再重新发布。Kevin 的重新定义是:尽管播客是“全球最大的知识来源之一”,播客应用却仍然只是“改装过的音乐播放器”。
3. 每一集节目都变成可导航的知识对象
swyx 的基础要求没有妥协:Snipd 仍必须是完整的播客播放器,本质上是 Overcast 或 Apple Podcasts 的超集。他起初不喜欢 Snipd 的主动加入式队列和下载机制,但后来发现,节目中可见的 Snip 数量及其位置,成了衡量听众兴趣的有效代理指标。
对已启用功能的节目,Snipd 会转录音频、分离并标注说话人,为每位嘉宾生成简短传记和头像,创建带标题和描述的章节,并提供可点击的文字稿。选中文字即可跳转到对应时间戳;Kevin 常用这个简单交互说明,消费级价值并不等同于 AI 的复杂程度。
书籍提取不止于识别书名。LLM 读取文字稿,Perplexity 及其他编排工具负责获取封面、作者和简介;随后 Snipd 会展示其他包含该作者的节目。早期模型过度选择 Sam Altman、Elon Musk 等被频繁提及的人物,因此团队收紧了产品标准,只保留真正作为嘉宾出现的人。
听众可以对节目进行关键词搜索或聊天,询问某个主题何时出现,索要要点,并通过时间戳引用回到音频。Snips 会把总结后的洞见与文字稿、声音一起保存;用户也能通过 Watch 创建 Snips,但 Kevin 表示,托管在 Substack 的播客无法在那里播放——即使通过 Apple Podcasts 也不行,而 Substack 在被联系后似乎并不在意。
4. 动态广告迫使 Snipd 打造“播客版 Shazam”
Kevin 唯一披露的处理规模数字是超过100万档播客。一些节目会自动处理,另一些则在付费用户提出请求后进入管线。转录和说话人分离先生成语音区块,之后由 LLM 编排识别嘉宾,并把姓名分配给相应区块。
动态广告让普通时间戳变得不可靠。每次播放请求都可能返回不同的 MP3,广告会根据 IP 地址等因素插入;如果 Snipd 转录的是另一个版本,插入点之后的每个逐词时间戳都会发生偏移,章节、文字稿导航、聊天引用和 Snips 全部失效。
因此,Snipd 会在播放过程中将听众收到的音频与文字稿重新同步。匹配接近音频字节层,而不是依赖部分转录;它采用模糊匹配,不要求完全相等。Kevin 的简洁描述是:“我们基本上造了一个播客版 Shazam”,这是为了让主产品正常运转而做的副项目。
5. 技术栈只为每项任务购买所需的智能
后端约90%使用部署在 Google Cloud Platform 上的 Python。移动端以 Flutter 和 Dart 共用一套代码,Flutter 无法覆盖的部分则使用原生开发,例如 Apple Watch。被问到 Flutter 是否是个好决定时,Kevin 给出的限定回答是:“到目前为止,是的。”团队没有离开 Flutter 的计划。
Snipd 起步时 GPT-3.5 Turbo 尚未出现,最初自行运行并微调开源模型。转录使用过 wav2vec 2.0;它结合 transformer、连续音频和自监督学习,让 Kevin 相信音频会沿着文本走过的路径发展——即使当时理想的产品能力还不存在。
如今 Snipd 使用 Whisper,并继续自行部署部分成本敏感型转录和说话人分离模型;大多数下游工作则调用 OpenAI 和 Gemini API。需要联网搜索的任务交给 Perplexity;Kevin 报价约为每1,000次查询5美元,并表示 Google 搜索的 grounding 并没有便宜到足以替换已经运行良好的系统。
统领团队的规则不是“选最好的模型”,而是先判断任务需要什么级别的智能,再在该级别购买性价比最优的模型。Claude 3.5 Sonnet 是 Kevin 在措辞、个性、编程和头脑风暴方面最喜欢的模型,但成本仍然偏高,因此许多工作负载会选择其他模型。“鉴于我们处理大量内容,价格确实是我们会考虑的因素。”
6. 播客结构让说话人分离变得可行,但并未解决
Snipd 受益于一个边界清晰的领域:播客通常拥有高质量、受控的录音室音频和稳定的背景噪声。Kevin 将其与面向会议的语音产品对比,后者必须处理任意房间和环境,能够使用的结构化启发式规则和领域内数据都稀缺得多。
一个启发式规则是播出时长:在1小时的节目里,一个只出现30秒的声音大概率既不是主持人,也不是嘉宾,而是插入的广告商。底层系统会对语音片段做 embedding,并按说话人聚类;Snipd 修改了聚类方式,还应用了通用说话人分离服务无法提供的播客专属规则。
LLM 将文字稿含义与声学聚类结合起来,识别说话人并重新校准交接点。swyx 质疑 LLM 可能引入错误,不适合充当精确权威;Kevin 直言承认,Snipd 的说话人分离“也并不完美”,但他说,最近的节目相比1年前处理的节目已经有了明显改善。
不过,在一集难度很高、嘉宾众多的 TechMeme Ride Home 节目中,swyx 仍认为 Snipd 的展示和识别效果优于 Descript。两人都预计,如今这套专用管线最终会被一个直接摄入原始音频的多模态模型取代;Kevin 测试过 Gemini 1.5 Flash,但表示其成本仍远高于自部署管线。
7. 生产质量藏在正则表达式、评审模型和“凭感觉评估”里
节目聊天展示了原型与产品之间的距离。Kevin 说,把文字稿粘贴到 ChatGPT,让它生成带时间戳的回答,15分钟就能做出演示;但要做到“99%的时间”正确运行,就需要精心格式化上下文、设计提示词、处理引用、渲染前端,并从格式错误的响应中恢复。
Snipd 用“无数个正则表达式”修复格式错误,避免它们最终变成难看的 UI。再接一个 LLM 可能听起来更符合 AI 直觉,但聊天必须立即流式输出;现有 API 很难把不完整的输出再接入另一条实时纠错流。swyx 的结论是,这套看似不优雅的机制就是普通的“现实世界工程”。
Kevin 将公司的大量评估文化概括为“凭感觉评估”。创业公司可以容忍偶尔的粗糙,因为用户获得快速迭代作为交换;而 Spotify 级别的组织,可能会让同样一半的功能经历6个月的法律和组织审查。这里交换的是速度,并不意味着失败已经消失。
Snipd Wrapped 暴露了长尾问题:模型通常能选出一句有代表性的精彩引语,但偶尔会返回一段莫名其妙的乏味内容。解决办法是先用更便宜的模型生成5个候选,再让强得多的 LLM 评审并选出一个。Snipd 在验证识别出的书籍和说话人时,也采用同样的挑战者模式。
8. 当聊天框消失,消费级 AI 才会赢
swyx 正式提出的功能需求是可通过用户自定义提示词来定制摘要。Kevin 指出,如果每位用户都要重新生成一份摘要,长上下文个性化仍然很贵;不过,随着模型成本下降,“一切都个性化”最终应该会成为可能。
Kevin 当下给出的技术答案是正确的:打开节目聊天,要求它用指定风格生成摘要。但随后他接受了更深层的需求——swyx 在移动中收听,不想主动发起聊天。真正的产品应该在打开时就提供已经生成、结构化并以视觉方式呈现的偏好信息。
这一区别构成了 Kevin 的消费级 AI 论点:开发者必须“走出聊天框”。智能可能已经存在,但机会在于找到人们与它互动的自然界面。他反复提醒做 AI 的创业者:“这里真正要完成的任务是什么?”
终点是隐形基础设施。Kevin 的比喻是:“AI 是未来的电力。”没人会把麦克风或手机营销成“支持电力”,未来“AI 驱动”也会同样显得多余。Snipd 现在使用这个说法,是因为新奇感能吸引注意力;但它真正想成为的,只是更好的播客产品。
9. 语音可以把节目结尾变成学习触发器
Kevin 会通过现实生活中触发用户打开产品的场景来评估消费级产品:旅行会触发 Airbnb,但学语言没有自然的每日时刻。Duolingo 是制造出这种习惯的例外,它靠通知、连续打卡、排行榜和“猫头鹰梗”完成了这一点;Kevin 称它为这场游戏的“GOAT”。
Snipd 已经继承了一个触发点——独处、走路、开车、锻炼,或其他开始听播客的场景——但还没有处理所学内容的触发点。Kevin 自己的强制机制是每集节目结束后只选一个收获,即使其中有10个想法都很有价值,因为优先级排序会检验相关性,也更可能促成行动。
他设想的语音产品会在播放结束时启动:不再自动进入下一集,而是由 AI 伴侣进行2至3分钟的复盘对话。每月超过5亿播客听众已经具备前置习惯。如果用户觉得这点微小投入能实质改善记忆、应用和思考,Kevin 认为 Snipd 可能让他们获得的价值提升“10倍”。
具体实现仍有意保持开放;swyx 起初抗拒把它描述成另一个“与你的播客聊天”功能,但后来认识到其真正的使用场景在收听之后。Kevin 也预计语音克隆会逐渐普及:早期 NeurIPS 研讨会上曾引发严肃伦理争论的能力,如今已进入大众工具;未来,一个获授权的“AI swyx”或许可以讨论 Latent Space 节目。
10. YouTube 将发现问题变成平台问题
Kevin 的内容路线图不止于 RSS 播客:用户已经可以添加 YouTube 视频和上传有声书,而他希望加入原生有声书,以及把 Deep Research 与 NotebookLM 式播客生成结合起来的 AI 节目。swyx 则推动他优先考虑视频播客而非有声书,因为在他看来,YouTube 已经是“最好的播客平台”。
发现机制也应从不透明的个性化推荐,转向用户可以直接对话的算法。Kevin 举的例子是对信息流说:“我知道我他妈特别喜欢”猫视频,但接下来2小时给我展示 AI 内容。TikTok 可能没有动力放弃对互动时长的优化,而与用户目标一致的学习产品有。
Kevin 采用了 Spotify 首席产品官 Gustav Söderström 提出的“可后台播放的视频”这一说法:即使在 YouTube 上,约90%的播客消费仍伴随其他活动,但画面有助于呈现片段、幻灯片、演示和主持人与观众的连接。他加入视频的最大理由是发现——视频推荐更有吸引力,但用户不必全程投入注意力。
swyx 认为,除听众和 Snip 制作者外,播客创作者是第三类利益相关者。Riverside 最接近这一方向,Descript 则掌握编辑环节,但两者都没有提供他想要的工作流:“坐下,录制,按一下按钮,完成。”机会同时伴随着真实的迁移阻力:尽管他很喜欢 Snipd,仍花了4至6个月才迁移,因为 OPML 无法携带听到一半的节目、排名和积累下来的状态。