OpenAI前联创：递归自我改进，到底卡在哪里？

美国知名播客主持人德瓦杰什·帕特尔（Dwarkesh Patel）近期邀请三位来自前沿AI公司的研究人员，围绕AI递归自我改进（RSI）的技术瓶颈与前景展开了一场深入对话。这三位嘉宾分别来自不同的“准开放”企业，愿意在公开场合分享真实的技术判断与分歧。

他们分别是开源AI公司Zyphra首席技术官贝伦·米利奇（Beren Millidge）、Thinking Machines首席科学家约翰·舒尔曼（John Schulman，OpenAI前联创，曾主导催生ChatGPT的人类反馈强化学习（RLHF）工作），以及模型训练平台Baseten模型训练负责人查理·奥尼尔（Charlie O'Neill）。

针对RSI是否会成真，三位嘉宾存在不同看法，但有一个基本共识：当前技术路径存在多个尚未解决的瓶颈，RSI不会像一些人预期的那样迅速到来。米利奇认为最可能的阻碍来自监管而非技术，舒尔曼指出模型的“品味”和长期判断能力仍然显著弱于人类，奥尼尔则认为关键卡点在于AI能否自主设定研究目标，而非仅仅优化已有目标。

关于中国实验室的追赶，几人的讨论指向几个结构性因素：蒸馏本身只需要少量轨迹就能复制能力，是对抗中心化的主要力量。前沿实验室从大型数据公司购买数据，中国公司也能买到同样的数据。而真实世界的用户分布比RL环境本身更重要，这让前沿实验室在RL环境上的优势可能没有想象中大。

关于强化学习（RL）的有效性，米利奇指出大量被归因于RL的成功实际来自中间训练，RL本身只是策略微调，但其信噪比远高于监督微调（SFT）。奥尼尔则发现RL带来的主要泛化不是横向的（训练数学不会让你变成最好的程序员），而是时间跨度上的，模型学会了在更长的任务上持续工作。

关于时间线，嘉宾们的判断差异显著：AI成为全面远程工作者需要一到三年，对AI研究者的10倍生产力提升需要两年左右，AI在所有领域超越顶级人类专家需要三到十年。

以下是米利奇、舒尔曼以及奥尼尔访谈实录，经腾讯科技编辑整理，在不改变原意的情况下有删减调整：

01 2036年若无超级智能，最可能卡在哪？

帕特尔： 如果到了2036年，世界上并没有出现数十亿个疯狂运行的超级智能，最可能的技术原因是什么？排除政治冲击、战争或禁令这些外部因素。

米利奇： 有一种类“莫拉维克悖论”的可能性。AI可能在所有基准测试上都表现出色，但始终存在某种顽固的Sim-to-Real Gap（即从仿真到现实的鸿沟），阻止它真正实现泛化。

如果泛化元学习都难以实现，持续学习也搞不定，那AI可能永远只是在benchmark上极其厉害，但在真实世界中差一口气。不过说实话，我们在实践中已经能看到RL带来的泛化迹象，所以我认为这个场景概率不高。更可能的阻碍来自监管。

（注： 莫拉维克悖论是AI领域的一个反直觉现象，简单来说就是计算机搞定高难度逻辑推理很容易，但模仿人类简单的感知和动作却很难。）

舒尔曼： 每次新模型发布，人们都会惊呼“这就是AGI”，但用一个月左右就开始觉得它蠢。这个循环可能还会继续重复。即便模型能写比人多得多的代码，也不意味着你的生产力提高了100倍。你仍然会被模型薄弱的环节卡住，被它判断力不够好的地方卡住。

奥尼尔： 对我来说，核心问题是当前的Transformer+RL这套方案，离全局最优解到底有多远。人们想象，一旦你有一个比所有人类都强0.1%的AI研究员，再乘以几十万个并行实例，就能压倒一切瓶颈。

但如果需要另一个类似当年从预训练扩展定律到RL那样的不连续性突破，当前的方法未必能发现它。如果这个突破离当前范式太远，不管跑多少个LLM都未必能找到。

帕特尔： 你觉得这个突破会比2012年以来的任何突破都难吗？

奥尼尔： 如果我们知道答案，大概就已经能实现它了。但关键问题是：这个突破是累积性的、在当前范式之内能找到的，还是需要彻底扔掉梯度下降和神经网络？如果是后者，不管跑多少个LLM都未必能发现。

帕特尔： 我想提出一个反面观点。如果深度学习沿着过去十多年的路线继续发展，未来几年却仍无法让AI主导科研，这反而会很奇怪。瑞安·格林布拉特认为，AI一旦能通过模拟持续提升研发能力，可能很快跨过人类研究水平，就像国际象棋AI跨过人类Elo后出现的断层。

米利奇： 我同意。如果AI没有跨过去，最可能的解释是它在接近人类水平时出现能力瓶颈，或者受到强力监管。相比技术瓶颈，我认为后者更现实。

奥尼尔： 关键在于，科研有两种。一类目标明确，可以不断优化。另一类需要提出全新的问题和范式，而这些目标本身无法提前定义。后者才是AI真正难以突破的地方。

帕特尔： 人类在AI研发中最后被自动化的环节是什么？

米利奇： 最难自动化的不是执行实验，而是迭代地问对问题。AI能替你做任何实验，却未必知道该做哪个。让它们谈研究，抛出的多是零散的小步子——擅长推进已有方向，不擅长判断哪个方向值得推。

奥尼尔： 选对方向甚至比技术发现更稀缺。从DeepMind“用玩游戏解决智能”，到Radford“试试预测海量数据的下一词”，中间不只是技术本身，还有缩放定律的提出，以及相信它可被可靠预测。即便Radford发现了方向，人们也过了很久才决定押注。发现方向、相信方向、押注方向，每一步都可能卡住。

舒尔曼： 定义目标，决定我们到底想要什么。即便AI能做所有技术工作，我们仍然需要决定AI助手应该怎么表现、什么才算有帮助、RLHF的目标是什么。

对齐本身可以拆成两部分：目标的设定和目标的实现。前者短期内不会被自动化。你想想一个后训练团队为什么需要那么多人，就是因为有太多不同的领域需要搞清楚模型应该怎么表现。

02 中国实验室为什么追得这么快

帕特尔： 为什么模型提供商没有出现大幅整合？很多因素都指向集中化。

舒尔曼： 蒸馏是对抗集中化的主要力量。任何可以通过RL学到的东西都很容易被蒸馏，因为它只需要少量数据。如果你能从模型获取展示某种行为的轨迹，你就能很容易地蒸馏它。还有一个值得关注的现象。

一些中国公司可能在使用代理服务，这些服务原本是为了让中国用户访问被封锁的美国前沿模型。这些代理服务在收集和出售数据。这对蒸馏来说是非常有用的数据集，因为它提供了完美的prompt分布。

米利奇： 前沿AI实验室从大型数据公司购买数据，中国公司也可以从同样的数据公司购买同样的数据。他们能买到完全相同的数据，再加上蒸馏，跟进其实相当容易。

奥尼尔： 据此可以做一个具体预测。Sonnet 5和Opus 5在某些方面客观上不如GLM-5.3和Kimi K3，即便它们有Mythos的logit蒸馏可用。这说明真实世界的用户分布比RL环境本身更重要。前沿实验室在RL环境上的优势可能没有想象中大。

帕特尔： 那真实世界部署就比环境更重要？

舒尔曼： 我提供一个不同的假说。环境有两个维度：难度和真实性。提高难度比较容易，创造大量高难度的类谜题任务就行。

但真实性是另一回事，需要人类反馈来定义奖励函数。如果蒸馏只在“刷基准”的分布上进行，学生模型可以匹配大模型在所有benchmark上的表现，但在更广泛的真实场景中表现更差。

大模型可能从窄任务到真实任务的泛化能力更强。这可能也能解释Anthropic一些较小模型的问题，比如Sonnet 5。当然也可能是他们在后训练栈上不断调整，某些东西调得太高，产生了benchmark上看不出来的怪癖。

03 训练AI研究员，到底在训练什么

帕特尔： 第一个能自动化AI研发的模型，会是怎么训练出来的？

舒尔曼： 大概是两种方式的组合。从人类反馈中学习研究者的品味，同时创建大量涉及多步骤研究项目的练习环境。每一轮迭代，修补上一轮中最坏的部分。研究者会大量使用AI，注意到它们的一致弱点，然后通过收集人类反馈或创建环境来修补。

奥尼尔： 目前的实际操作方式是，我们走到谱系的最前沿，把公司过去几个月在训练栈中发现的bug变成环境。你需要在前沿上训练和进步，所以你把之前所有的历史都锁定。

你可以想象一个世界，你把时间线回滚到GRPO之前，然后设计环境让AI去发现最优的RL形式。但我认为我们仍然会受算力瓶颈限制，所以大家会继续待在前沿上，把最近几个月的进步diff出来变成训练环境。

这本质上就是蒸馏。你总是试图追赶过去三个月的进展。这些进展当然有AI的贡献，但人类仍然在循环中。感觉就像在不断地、一寸一寸地逼近人类研究者的水平。

米利奇： 但有一个关键区别。在轨迹上蒸馏永远无法超越教师。但环境可以远超人类能力。设计一个人类无法解决但AI可以尝试的环境，非常容易。比如你说损失需要达到1.3，没有人类能现在做到，但这是一个极其可衡量的、可验证的任务。这才是超越人类AI研究的路径。

舒尔曼： 很多研究并不像在明确目标上爬坡。更多时候是这样的：我们对模型应该如何改进有一个直觉，有一个算法idea大致朝这个方向走。于是我们设计一个任务来检测这个方向上是否有生命迹象。如果有，再逐步构建更真实的版本。你不是在直接优化你最终关心的目标，你是在放松你的目标，先在不太真实的场景中找到有效的方法，等方法成熟后再回到真实性。

04 长时程RL会引出AGI吗？

帕特尔： 目前实验室的赌注，是不是在数百万个环境、数百个领域里扩展RL训练，让AI学会持久性、信息整理、协作等通用技能，最终成为可以独立工作数周甚至数月的“远程员工”？但这种方式只在模拟环境里学习，真的够吗？

奥尼尔： 我觉得现在很难判断这些努力有多少是为了RSI，有多少只是为了打造更强的通用模型。后者的话，这确实很可能是实验室正在押注的方向：先从编码开始，再扩展到金融、PPT等领域，逐步覆盖更多工作场景。

帕特尔： 但如果模型足够擅长上下文学习，为什么还需要针对金融等领域单独训练？

舒尔曼： 因为领域训练可以让模型运行得更高效。即使模型能临时学会，也可以通过RL把这些知识和技能直接烘焙进权重。

米利奇： 而且两件事可以同时做。领域训练本身不贵，学到的能力也可能迁移到RSI。既然算力和参数都足够，实验室当然会一边强化通用能力，一边训练高价值领域。

帕特尔： 任务的时间跨度越长，就越难在数据中心里模拟。AI最终需要运营企业、打官司、做交易。如果sim-to-real的迁移不够好，模型在样本效率上的巨大差距会不会成为根本性障碍？

奥尼尔： 我把任务分成两类。累积型的和非平稳型的。RSI是累积型的。一旦你发现了注意力机制，发现了混合专家模型，发现了GRPO，你就把它们加到训练栈里，这就是你的了。

OpenAI训练5.6 Sol/5.6 Terra时不需要重新发现注意力，它基本上就是调用pre-training.sh和post-training.sh。但真实世界的工作不是累积型的。想象一个法律事务所里的AI智能体。你需要在上下文中记住所有关键人物之间的关系，这些关系还在不断变化。你有各种隐性的做事方式、找信息的途径。这不像RSI那么干净。

帕特尔： RSI恰好比律师助理容易，真是太不幸了。

舒尔曼： 模型的弱点来源是多元的。有些确实与样本效率有关，比如在某个中等长度的区间内，人类能比模型更高效地做权重更新。但也有一些弱点与此无关，比如思维多样性低于人类，或者在某些长期判断上表现不佳。很多人说的“品味”，其实是关于什么系统在长期内可维护、能运作良好。

帕特尔： 如果给模型一个万亿token的上下文窗口，把一个人到做RLHF之前的全部经验都塞进去，品味问题解决了吗？

米利奇： 理论上，如果模型能在长上下文上有效学习，应该是可以的。人类发展品味并不需要极长的时间。一个PhD大概五年，做了10到30个研究项目，但品味发展得相当快。AI显然会有远超人类的经验来发展品味。问题在于这能在多大程度上泛化到真正长周期的任务上。

奥尼尔： 关于持续学习，当前的技术困境是这样的。在宏观层面，把部署数据放进中间训练是有效的。但当你放大到微观层面，试图用少量数据对单个模型做持续微调时，所有方法都有点崩溃。你会看到灾难性遗忘，看到基础模型能力的退化。SFT和on-policy蒸馏都太具破坏性。RL在注入能力方面很好，因为它只改变模型非常小的一部分，但这也限制了RL能做的改变量。

米利奇： 如果你永远持续训练同一个基础模型，它最终会渐近。你没法永远在同一个基础上学新东西。这就是为什么大家最终还是要从头训练新模型。从头训练很贵，但如果你有了所有新数据，用同样的模型大小从头训练，它会更好。瓶颈不在于容量，而在于可塑性和灾难性遗忘。

帕特尔： 如果AI能自动化所有实验执行，但仍然需要人来决定做什么实验，这算RSI吗？

米利奇： 这其实是RSI能否发生的关键问题。要让任何自我驱动的自动化循环运转起来，AI需要自己提出目标、优化目标、再提出新目标，而且在很长的时间里都不能跑偏。人类觉得“自己决定该做什么然后去做”这件事很容易，但这可能恰恰是进化花了很大力气才解决的问题。对AI来说可能意外地难，就像运动控制对我们来说很难但数学很容易一样。

奥尼尔： 我区分两种研究。一种是目标已经明确定义的研究，比如降低预训练损失。如果当时有AI来分析Kaplan的缩放定律，它应该能立刻发现他们用了中间检查点但没有考虑退火，这是错的。

这一个观察就能省掉一到两年的进展。在目标明确的场景下，我估计AI可以带来10倍加速。但我不认为这能泛化到“一开始就找到正确目标”这件事上。光靠思考不能给你正确的目标。

舒尔曼： 我分享一个来自OpenAI早期的认知。当年我直觉上觉得，仅仅最小化对数损失不会带来智能。因为重要的部分在损失中占比太小，会被噪声淹没。我们需要设计更好的目标函数。

但结果证明，下一个词预测就是work了。大多数人画不出他们看过的场景的逼真复制品，所以我们以为模型也需要更好的目标。但它就是学会了。整个领域高度依赖泛化，而泛化很难预测。最重要的进展往往是那些我们没权利期望的分布外泛化。

05 数据vs架构：进步的驱动力到底是什么

帕特尔： 我和普林斯顿学生杰里·韩（Jerry Han）做了一个实验，把2019年至今的所有训练方案与所有数据集进行交叉训练。结果显示，数据解释了约12倍的计算效率提升，而架构改进只解释了约3.7倍。你们怎么看？

奥尼尔： 低垂的果实可能已经差不多摘完了。我们已经拿到了互联网这一大块数据，但互联网上真正有用的数据并没有以同样的速度增长。

同时，这里面还有一个有意思的缺口。Epoch估计，自2019年以来每年大约有3倍的改进，7年下来应该是2000多倍。那么，剩下的100倍从哪里来？这大概能告诉你，后训练到底贡献了多少。

米利奇： 我觉得，在大规模训练中，数据其实更重要。架构更像是一次性的突破，它可以把你带进一个全新的区间。但进入这个区间之后，数据才是主角。

举个例子，如果没有GQA，我们一直使用全注意力机制，那么百万级上下文的成本会高到无法承受，我们根本用不起百万上下文的数据。架构负责打开新的区间，但如果只在较小的上下文规模上做naive对比，就会低估架构真正发挥的作用。

帕特尔： 到2030年，前沿模型会有多少活跃参数？

奥尼尔： 未来几年可能不会大幅增长。推理效率对RL扩展至关重要，而瓶颈仍然在环境。你会根据预训练数据量决定模型大小，再根据RL环境的难度进行调整。

理想状态是，在最难的环境上拿到一个还不错的pass@1。如果把模型做得更大，却只能增加推理成本，那就没有太大意义。我猜Mythos和GPT系列的参数规模可能远没有达到人们讨论的10万亿级别。通过和开源模型做一些简单对比，大概也能推断出这一点。

舒尔曼： 我预计模型还会继续变大，因为人们还在不断扩大算力，GPU的规模也在增长。但具体会增长到什么程度，取决于scaling law中一些反直觉的部分。

数据效率会成为比架构选择更重要的驱动力，尤其是在高质量预训练数据即将耗尽的情况下。稀疏性也是一个有意思的变量。参数量和活跃参数是两种不同的资源，我们目前还没有真正理解稀疏性为什么有效，以及它最终会在什么水平趋于稳定。

06 RL为什么比想象中更有效

帕特尔： 一年前，很多人认为RL无法成功扩展。我和舒尔曼各自的论文都指出，RL每个episode只给模型一个bit的信息，当通过率很低时，模型几乎学不到任何东西。但看看现在的模型。到底发生了什么？

米利奇： RL的成功有几个被低估的因素。

首先，大量我们归因于RL的成功，其实来自非常好的中间训练数据。中间训练已经把模型带到了最终RL检查点的大约80%。RL在此基础上做的，本质上只是策略微调，并不需要从头学习所有行为。

其次，这些bit虽然少，但信噪比极高。在SFT中，你必须匹配模型生成的每一个推理token，因此会得到大量关于另一个模型如何推理的信息。RL只给你一个bit，反而意味着这个信号不会被其他bit的噪声淹没。这相当于大幅提高了训练信噪比，也是RL在训练步数上如此高效的原因。

还有一点，即使只有几个bit，即使参数变化很小，对函数空间的影响也可能非常剧烈。一个bit就可以排除一半的假设空间。

奥尼尔： 大家原本期待RL能够让推理能力横向泛化，比如训练数学之后，模型就能成为最好的程序员。这个结果我们没有得到。

但我们确实看到了时间跨度