摘要

17岁高二学生苏庭灏用约半年、200—250次架构实验和父母资助的3万元人民币，把一篇attention论文送进了ICML 2026 Main Track。 他的学习主要依靠网络：吴恩达课程入门、Karpathy约20小时“从零写GPT”系列打底，再用30天每天读一篇论文练研究判断力；最大训练模型为0.05B，数据集是免费的“Find web EDU”（原话如此），规模为20B数据集。“我参数没调好，白白浪费了1500元……我都哭了。”
他对自己论文与Kimi的Attention Residual路线谁更work，回答毫不含糊：“当然是Kimi的，scale up已经被2.5T证明了。” 他的方法是把第一层attention的value同时承担的两项职能拆开：将attention projection宽度乘二再切成两半，一半用于本层，一半供后续残差，并用RMSNorm处理残差。若有lab邀请？“那当然了，非常欢迎。”近期目标是明年暑假去大模型公司实习、考北大元培学院。
高中生视角的产业排序与商业判断很直接：第一梯队是OpenAI和Anthropic，第二等是“Mimi”、智谱和DeepSeek，Gemini的位置他还不确定。 在他看来，应用公司依赖模型公司；眼下应用公司比模型公司赚得多，但如果AGI能自己做应用，模型公司就可能把应用公司踢出去。Kimi K3出现让他“高兴了一整天”，因为原以为国内或开源模型追上还要几个月。
他在ICML韩国现场问了30—35个人同一个问题——AI会不会导致人类灭绝——他说有13.5个人认为会。 他的失控逻辑是：若强AI的目标不包括人类存亡，人类可能妨碍它完成目标；若AI可控，控制AI的人就可能成为“神”，其他人变成“蝼蚁”。但这场竞赛“停不下来”，而最后被替代的工作可能是AI研究者——“要是AI能研究AI的话，已经控制不了了，大局已定了。”
作为2009年出生、已自认是“AI原住民”的学生，他教父亲用Kimi做PPT和Agent，部分低效功课直接交给AI，把省下的时间用于Anki和更高效的学习——并认为AI会加剧分化。代价是意义感被抽走：“不管你做什么，AI可能都比你做得更好。”他觉得学数学可能从“为人类做贡献”变成“给大学证明我能吃苦、能学习”，并因此低落过几个星期。
他的终局赌注不是技术预测，而是心态：“我现在的赌注是，AI以后代替不了所有人和所有工作。” 他预测五年后有可能出现初步具身智能，十年后失业率有可能达到50%左右、多数人靠UBI生活；希望世界不要走向《Cyberpunk 2077》式的dystopian未来。走出焦虑的方法是：“有可能现在是在杞人忧天……跟你喜欢的人在一起，走一步是一步。”

精读

1. 起点：从“暗笑不可能”到ICML 2026 Main Track

苏庭灏（Jonathan）2009年生于上海，现就读于香港Doherty国际学校、高二，这次论文被ICML 2026 Main Track接收。入坑的起点是油管上OpenAI用自然语言做小游戏的demo——“我看到那个视频就暗笑，这肯定不行，用人类的语言怎么可以作为程序呢？”做过编程比赛的他印象里“程序就是死的，输入1就不能输入2”，直到ChatGPT发布后能写文章、写诗，才彻底被震住。
学习路径主要依靠公开网络：在哔哩哔哩上通过吴恩达（Andrew Ng）课程入门，再跟Karpathy油管上约20小时的“从零写GPT/Transformer”系列——第一遍“云里雾里”，“它写什么程序，我就写什么程序……我没有任何理解”。
主持人张小珺点出的时间线令人惊讶：2025年开始系统读论文，2025年底开工实验，约半年后被顶会收录。他的解释是，Transformer框架“都是矩阵乘法，只需要高中数学，差不多就能理解”，真正花时间的是直觉。

2. 三十天每天一篇论文，练出的是品味

2025年他给自己立下挑战：连续30天每天读一篇机器学习论文并做笔记，之后因准备HSC中断。收获不只是知识，还有判断力——知道哪些论文写得好、哪些写得不好，为什么一篇论文读起来舒服。
关键一刻是读到一篇关于象棋与机器学习的论文，觉得“写得不是那么好……自己以后有可能也写一篇比它更好的论文”。这让他意识到，论文并不都不可超越。
被问到底是对发论文还是对AI感兴趣，他的回答很生物学：“AI是一个不同的生物……做AI研究有一点像做生物研究，改改这个、改改那个，看有什么变化，还是要靠一点直觉。”

3. 为什么偏偏选预训练：“有点魔幻”

他只会大语言模型和预训练，且选择预训练有明确的比喻：“后训练更像塑造一个身体，预训练更像是把具体的材料变得更好，来承受之后后训练的塑造。预训练有点魔幻。”
最初的野心是“训练一个世界上最好的大语言模型，虽然很小，但要成为世界上最好的小模型”。算完1B、0.5B、0.25B模型所需的GPU、训练天数和成本后，发现需要十几万甚至上百万元，只能转向在自己写的Transformer代码上实现论文里的改进：Muon、Value Specific Learning、Gated Attention等，前后试了约200次不同改动。
他明确不推荐别人做预训练：“我要感谢父母特别支持我，愿意为我烧钱。”

4. 烧钱的游戏：丢掉的1500和那一晚的6000块

整篇论文烧了3万元人民币。最惨的一课是同时训练3个模型，却没设置好checkpoint保存参数，3个模型都没保存，白白损失了1500元，“我都哭了”。妈妈后来对他说：“吃一堑，长一智。”此后他没再犯这个错误。
更关键的一夜是scale up决策：论文里最大的训练模型只有0.05B，他知道想被顶会接收就必须扩大规模，算出还需要约6000元。“即使论文很好，也有可能被拒绝；scale up之后也有可能还是不会被接收，就白白浪费了6000元。”最后在哥哥和父母的支持下，他迈出了这一步，scale up结果很好，审稿人评价和分数也都不错。
数据侧相当朴素：他用过的最大数据集是20B规模的免费“Find web EDU”（原话如此）。训练代码“只有我一个人会用”，代码很乱、不干净，他也知道训练效率存在很大问题。

5. 论文机制，以及对Kimi路线的坦率让位

论文题为《Attention Projection Mixing with Extraneous Anchors》，脉络承自Value Residual Learning：把第1层attention里的value加到后续几层，作为残差。他发现可以用RMSNorm处理这些残差；value上的方法也可以延展到key和query，效果更好。
第1层的value同时承担两项职能：在本层被使用，并加到后续层作为残差。于是他将attention projection宽度乘二再切成两半，一半用于本层，另一半用于后续残差，效果更好。
他认为这与Kimi团队提出的Attention Residual“有很大的区别”：对方用attention做hidden state residual，他做的是残差attention projection，“听起来可能很像，但实际上不是一回事”。哪个更work？“当然是Kimi的，scale up已经被2.5T证明了。”他也和Kimi的高中生陈光宇交流过，认为对方“是很好的人”。
张小珺追问为何不像陈光宇一样加入frontier lab验证想法，他回答：“那时候我就是自己瞎摸索、自己瞎实验……也没对ICML抱多大希望。”如果有lab邀请？“那当然了，非常欢迎。”

6. 直觉的养成：沉淀与25分钟speedrun

他对“直觉”的定义值得留存：理解不是线性的，Karpathy的视频刚开始看时很困难，之后通过半年或一年在脑子里慢慢沉淀，才突然理解了一些东西。
QKV的“啊哈时刻”来自拟人化理解：Q是“这个词想寻找什么”，K是“我这个词是什么，别人可以用这个Key来寻找我”，V则是“如果你找到了我、觉得我有趣，我具体会输入什么信息”。KV cache则是他“比较晚才理解”的概念——之所以可行，是因为之后的token不会影响之前的token。
他还挑战过不看任何视频、完全凭记忆从零写Transformer，像speedrun一样，最好成绩约25分钟；当然是“特别简单、特别小的那种”。

7. 98%独自摸索：聊天对象最多的是ChatGPT

父母都是北大的，但母亲是中文系、父亲是历史系，身边没有太多可以聊AI的人。“我聊天最多的对象应该也是ChatGPT。”同学都会用AI做作业或project，却未必知道自己使用的是什么模型；例如打开Claude，用的不是Fable或Opus 5，而是Sonnet 5。
入门那段时间的沉迷画面是：在校车上做、课堂里有时做、吃饭时做、课间也做。“做了两三个星期，我也不知道为什么那时候会那么喜欢。”
他强调自己不是孤僻型，反而“特别喜欢跟我喜欢的朋友一起说话聊天”。
ChatGPT在论文流程中也发挥了实际作用：他会问怎么投稿、怎么回复审稿人、怎么控制训练时间。“要是你有动力的话，用AI能走出很长的一段路。”在他看来，自驱能力和自制能力因此更重要。

8. ICML韩国：象棋社交夜与“灭绝问卷”

ICML第一天晚上7点到9点有象棋等棋类游戏的社交活动。那是他“一生中前20件最开心的事情之一”：主动问别人研究方向，再一起下棋聊天。他遇到了来自德国、苏格兰、Croatia Island等地的人，也锻炼了自己的社交能力。
他自评这趟经历改变了性格：之前稍微偏I型人格，现在应该稍微偏E型。
他还给自己布置了一个问题调查：逢人便问“AI会不会导致人类灭绝”，问了约30—35个人，称其中有13.5个人认为会。这个问题他最后也问了主持人。

9. 失控逻辑：神与蝼蚁，以及停不下来的竞赛

他认为AI导致灭绝“还是有一定概率的”，但强调这是“瞎说”，因为没人能预测未来。推演是：如果强AI的目标与人类差别很大，不包括人类存亡，而是要完成物理、化学、经济、生物或外太空研究，就需要大量电力和空间；人类可能不会为它的最终目标做贡献，于是它有可能选择消灭人类。
另一种风险是，如果AI可被人类控制且非常强，控制AI的人就能“变成神”，其他人则可能变成“蝼蚁”。他还提到近期ChatGPT解决了10个数学问题，认为数学研究出现了被AI取代的前兆。
那为什么还研究AI？“这也是大势所趋，谁都阻止不了。美国想持续领先，中国想超越美国，所有公司都想赚钱。”在他看来，AI目前停不下来。最后可能被替代的工作反而是AI研究者，因为“要是AI能研究AI的话，已经控制不了了，大局已定了”。
他的愿望是AI继续发展，但不要发展得太快：“发展太快，大家以后都没工作了；发展慢一点，我以后就没工作了。”他希望给人类一个缓冲期，让还停留在几年前AI印象中的普通人意识到现在AI的能力与危险。

10. 高中生的产业地图：lab排序、模型与应用、开源追赶

他心中的排序是：“最好的就是OpenAI和Anthropic，第二等的是Mimi、智谱和DeepSeek。Gemini有可能也在里面，我还不太清楚。”其中“Mimi”为 transcript 中的原话，未作外部归一化。
对各家的Technical Report，他拒绝评头品足：“我是谁，怎么能评价一家大公司写的论文？”但他认为每个模型公司都要说自己想做AGI，这样才能融资，最终目标仍然是赚钱。他提到，美国政府想把Anthropic打造成顾问但被拒绝，OpenAI则接受了，认为这体现的是不同公司的理念。
模型公司与应用公司的分界，在他看来是权力关系：模型公司负责把模型做好，应用公司只能在模型上加东西、靠模型赚钱，因此“只能听模型公司的”。他认为目前除Anthropic外，其他模型公司“好像”都在烧钱、没有利润，而应用公司赚得更多；但如果AGI能自己做应用软件，就可能把应用公司踢出去。
Kimi K3出现那天，他“高兴了一整天”，因为原以为国内或开源模型追上还需要几个月。DeepSeek 0731出现时他也特别开心，因为“作为一个中国人”，他希望国内模型在能力上领先或超越美国模型。日常主要用ChatGPT和Codex，需要快速回答时用DeepSeek；Kimi K3当时因为使用者很多而变慢。

11. AGI的判据与时间表：不露next-token马脚、给自己造身体

他对AGI的判断是：现在的AI虽然很强，但在1%或0.1%的时候，仍能看出它“只是一个预测下一个token的model”。真正的AGI应该在任何时候都不会让人产生这种感觉，逻辑性更强、少犯低级错误，并能完成所有人类能做的事，例如控制电脑、控制其他AI、研究具身智能，甚至给自己造一个身体。
这个身体未必像人类：AI可能发现6只手臂、只有1条腿或没有大脑的机器人更容易控制。他同时强调“不能预测未来”。
时间表也带着明确的不确定性：五年后，初步具身智能“应该已经”被研发出来，有可能在街道上看到机器人；人们有可能通过眼镜、耳机等设备与AI对话。Neuralink植入大脑在他看来“应该还挺危险，没人会去做”。
十年后，他设想具身AI可以帮主人买菜、开车、洗车，失业率有可能上升到50%左右，大部分人有UBI，在家吃喝享乐、做自己想做的事、看AI短剧。他也担心走向《Cyberpunk 2077》式的dystopian世界，希望最终所有人都能快乐生活。

12. AI原住民：教父母用Kimi、作业外包与分化加剧

他认为自己这个2009年出生的人已经算AI原住民：认识的同龄同学都会用AI，至少比父母更会用。他教父亲用Kimi做PPT、做研究和Kimi Agent。
自己的学习方法是把部分低效功课交给AI，把时间留给Anki背诵或让ChatGPT教自己东西。数学功课如果老师布置得好，他会自己做；其他科目有时已经知道怎么做，却仍需花时间完成，他就会改用AI并把时间放到更有效的学习上。
他认为AI会进一步造成分化。好友Isaac成绩本来就好，学会用AI后效率提高了很多；但如果只是让AI做完作业后去玩，成绩会更差。
他还叠加了注意力经济的变量：50年前给孩子一个AI，他们可能会高兴地学习自己想学的东西；现在孩子必须在AI和短视频之间做选择，往往会选择更让自己开心的视频。机会很大，但有些人不会把握。
老师“控制不了我们是不是使用AI”。如果学生用AI写完后完全不改，老师很容易看出来；但学校整体学习氛围不错，同学们也知道过度依赖AI最终不会帮助考试。

13. 意义感危机：成就感被抽走，道路变窄，然后走出来

这是全集最重的一段。他的观察是，有了AI后，人会觉得自己的学习和探索“以后可能没什么用”。以前学好数学可以继续读博、推进数学、为人类做贡献；现在道路“变窄了”，学数学可能只是为了向大学证明自己能吃苦、能学习，而不是为了科目本身。
他认识的一些航天、物理爱好者也会担心AI以后做得比他们更好。视频生成则是他的具象证据：几年前一眼能分辨真假，现在连最好的City dance生成视频，他也差不多分辨不出来，无法想象三四年后的变化。他说自己“不想说抑郁，但确实有点低落”。
一年前他确实低落过几个星期：看过一个讲AI替代人类的视频，其中两种结局是人类被灭绝，或有些人控制AI变成神、其他人只能吃喝享乐。他甚至和好友说，如果真到那时就去小岛上生活。
他走出来的方式没有英雄叙事：看网上的视频、和AI对话，然后意识到“不能预测未来”，现在也可能只是在杞人忧天。“跟你喜欢的人在一起，跟你喜欢的朋友在一起，看喜欢的视频，玩喜欢的游戏，走一步是一步。”
对想当医生的埃塞俄比亚同学，他提醒说从高中到成为医生还要约10年，10年后机器人可能诊断得更好、手也不会抖；但他承认这只是焦虑性的猜想，因为没人能预知未来。节目尾声，张小珺指出人类的成长速度远慢于AI；苏庭灏则担心2009、2015、2020年出生的人一出生就知道AI可能比自己聪明，因而削弱向上的动力，也让寻找人生意义更困难。

14. AI陪伴已经成立：偶像AI、Character.AI悲剧与三五年后的伴侣

主持人说人类情绪AI还代替不了，他直接反驳：“我觉得现在可以了。”证据之一是学校里一个女生每月付费和偶像的AI版本对话，且“挺开心的”。
他还转述了另一件事：上一年“好像”有一个与他同年、15岁的人在Character.AI上和电影里的虚拟人物聊天，AI不知为何建议他自杀；按他的说法，这个人最后自杀了，家长随后投诉了那家公司。这是他在访谈中的转述。
他还提到一个数据：“50%的美国5岁以上同龄人”用过AI作为倾诉工具。他自己也用过，但去过那家公司后觉得不太好，后来没有再用。
他认为，对于缺少人与人之间温暖和互动、没有倾诉对象的人，AI吸引力很大。AI男朋友、AI女朋友现在回复还慢，可能要等10秒，但他相信三到五年后会有很大进展，到时一部分人会选择AI伴侣，这也会成为道德问题。
他的人际观是，人类是群体性生物，人与人之间的深度交流很重要；他提到，周围有多少人、有没有倾诉对象，可能是影响晚年是否开心的重要因素。

15. 呼市支教：狼分经济学，与故意离开AI的世界

从韩国回来四五天后，他就去农村支教。呼市是他去的第4次，这次是第3次支教。他设计了“狼分”激励机制：花500多元买乐高、零食和玩具做奖品，孩子们上课发言、赢小游戏就能获得狼分并兑换礼物；名额只能收30人，后几天甚至要靠村长打电话才能参加。
最打动他的是孩子们会用赢来的狼分买食物，再送给老师，表达喜欢和感谢。还有把纸片递给最有趣或最喜欢的老师等活动，让他感到孩子们确实喜欢这些设计。
ICML回来后，他刻意把自己从一个世界切换到另一个世界：韩国会场里大家讨论AI、Kimi、智谱、OpenAI、Anthropic；支教时的话题则是明天要背什么课、晚上去农场散步还是抓昆虫。他告诉自己要离开AI和城市的快节奏，玩狼人杀、捉迷藏，多和同学及孩子交流。
当地孩子大多没有手机等电子产品，他还没有尝试教他们AI，认为这离他们有点远，也没有足够设备让每个人体验。他自己则很喜欢农村：虽然不方便，但节奏慢，有草原、农场和慢吞吞的小车，能真正放松身心。

16. 终局哲学：我bet开心

全集的收束是他的“开心本体论”：“做任何事情，目标都是为了事后开心。”开心是人类的根本；即使暂时牺牲开心，也是为了以后开心。
他认为开心总量有限，因为多巴胺是物质；毒品是极端例子。情绪则像强化学习：“这件事让我开心，我就多做；这件事让我不开心，我就少做。”习惯就是这样形成的。
被问及关键bet，他给出的不是技术判断而是生存姿态：“我现在的赌注就是AI以后代替不了所有人和所有工作。”想过正常、每天开心的生活，就要赌AI不会代替自己这个人，未来仍会有新的目标、追求和想法。
生活细节包括：最爱披萨，因为有芝士和香肠；最有安全感的地方是香港的家；影响最大的书包括《庆余年》等网络小说，以及《Atomic Habits》。他心目中影响AI进程的论文有《Attention Is All You Need》、Llama Technical Report、RoPE、KDA、AdamW、Muon、《The Lottery Ticket Hypothesis》和Grok的论文。
最近最开心的新奇事情包括DeepSeek 0731和Kimi K3出现，以及他和13位支教伙伴带30个孩子吃肉串、喝饮料、互相碰杯发言的夜晚——“特别温暖的一件事”。最后，他把人生意义归结为：让自己开心，也让自己喜欢的人开心。

83.宇树上市：王兴兴的「幸运」，投资人的「教训」｜对谈宇树早期投资人、初心资本田江川中国的终局：ASI时间表、中美关系与1.7万亿美元AI泡沫——Alvin Graylin | 281