本文来自微信公众号: AIGC从0到1 ,作者:王零壹
从Agent自我进化、模型权重重写,到AI研发体系与软硬件协同进化
全文2万字,RSI技术版图,截至2026年11月21日
--
引言:AI自我改进,已经推进到了什么程度?
一类研究开始让Agent修改自己的代码、工具、记忆和执行流程,并将有效改动保留到下一轮任务中。另一类研究则进一步触及模型本身:模型不再只是提出修改建议,而是尝试直接编辑自身的权重参数。与此同时,领先AI实验室开始让模型承担更多研发工作,从代码编写、实验监控延伸到训练流程和基础设施开发。AI甚至已经进入芯片设计和物理实验环节,参与改进支撑自身运行的计算系统。
这些进展分别发生在不同层面,目前值得关注的,已经不只是AI能不能修改自己,而是这些修改能否被继承,能否在后续任务中持续产生收益,以及改进后的系统能否进一步提高自己的改进能力,这几个条件决定了我们应该如何判断当前RSI的进展。
因此,本文从模型、Agent、研发体系和计算基础设施四个层面,梳理截至2026年11月21日已经出现的技术进展,并进一步分析这些路线是否开始连接,以及它们距离完整的递归自我改进还有多远。
01·从RI到RSI:什么才算真正的自我改进?
一个边界:并不是所有由AI参与完成的自动化优化,都属于递归自我改进。
递归式改进(Recursive Improvement,RI),指系统能够不断利用反馈改善某个对象。AI帮助工程师优化代码、自动搜索更好的算法参数、根据测试结果调整软件架构,都属于这一范畴。
例如,一个AI系统能够生成一批算法候选,再通过自动化测试选出表现最好的方案。这确实提高了研发效率,但被优化的是外部算法,AI本身的能力和改进机制未必发生变化。
递归自我改进(Recursive Self-Improvement,RSI)则多了一层关键关系:系统开始把自身作为改进对象,而且改进后的系统能够继续参与下一轮改进。
可以把两者的区别概括为:
RI:AI帮助改进某个系统。
RSI:AI改进自己,并利用改进后的自己继续改进自己。
这意味着,判断RSI是否发生,至少需要两个条件。
第一,改进必须能够被继承。
AI在一次任务中临时生成更好的答案,或者通过增加推理时间获得更高准确率,并不意味着系统已经自我改进。
推理时计算(Test-time Compute)可以让模型在当前任务中投入更多计算资源,但任务结束后,模型本身未必发生任何变化。下一次调用时,它仍然是原来的模型。
真正的自我改进需要留下某种可持续的变化:例如修改后的程序、更新后的Harness、经过整理的经验记忆、调整后的模型参数,或者新的训练策略。这些变化必须能够进入后续运行过程,而不是只存在于一次性的输出中。
第二,改进后的系统必须具备继续改进的能力。
如果一个Agent通过自动化搜索找到了一套更好的工具配置,但下一轮仍然需要人类重新设计搜索方法、制定评估标准、决定如何筛选候选版本,那么它只是完成了一次局部自动化优化。
更有意义的情况是:系统不仅获得了更好的执行能力,还提高了自己发现问题、提出方案、设计实验、评估结果和继承有效经验的能力。
例如,第一轮改进让Agent更擅长解决代码问题;第二轮改进让它更擅长寻找代码问题的解决策略;第三轮改进又让它更有效率地发现和筛选新的优化方案。
此时,系统改进的对象已经从任务执行能力扩展到了改进能力本身。
这才是递归结构真正值得关注的地方。
一个用于观察技术进度的L0—L4框架
为了避免把不同层次的进展混为一谈,本文使用一个工作性的成熟度框架(非行业标准)。
| 阶段 | 能力描述 | 关键特征 |
|---|---|---|
| L0 | 人类主导研发 | 人类设计、训练和评估,AI提供辅助 |
| L1 | AI辅助改进 | AI编写代码、分析数据、提出建议、执行实验 |
| L2 | 局部自主改进 | AI修改自身的Agent、Harness、工具、记忆和工作流,并继承有效变化 |
| L3 | 模型自身改进 | AI直接参与自身权重、训练过程或学习机制的改进 |
| L4 | 完整递归自我改进 | 系统持续提升自身能力,同时提升自己的改进能力,并形成可验证的正反馈 |
L0—L4更适合用来判断不同研究究竟触及了RSI的哪一部分,正是这些层次分别出现了哪些可验证的技术进展。
02·Agent的自我进化:AI开始修改自己的执行系统
目前,最容易开展RSI实验的对象,是围绕模型建立起来的执行系统。
理解这一点,需要先区分模型与Agent。
模型提供基础推理能力,但一个Agent最终能够完成什么任务,还取决于模型之外的一整套系统组件:
Prompt:告诉模型应该做什么,以及如何处理任务。
Control Flow:决定任务如何拆分、执行和循环。
Tools:提供文件操作、代码执行、浏览器、搜索和外部API等能力。
Memory:保存过去的经验,支持跨任务继承。
Context Management:管理上下文窗口、历史记录和信息压缩。
Evaluation:判断任务是否完成、修改是否有效。
Harness:把上述组件组织成一个能够稳定运行的执行环境。
因此,Agent的能力并不完全等于基础模型的能力。
即使基础模型的权重完全不变,只要修改工具调用策略、任务规划方式、上下文管理和记忆机制,就可能显著改变整个系统的表现。
这为RSI提供了一个相对容易进入的切入点:先让AI学会修改自己赖以工作的系统,再进一步研究如何修改模型本身。
2.1 RRSI:如何避免Agent越进化,越会应付考试?
【论文实验】RRSI(Regularized Recursive Self-Improvement of Agent Harnesses,2026年9月)研究的核心问题,是Agent在持续修改自身Harness时,可能出现一种看似进步、实际上退化的情况:它越来越擅长解决训练过程中反复遇到的任务,却没有获得真正可以迁移的能力。
这与机器学习中的过拟合非常相似。
假设一个代码Agent被放在固定的一组软件工程任务上进行进化。每一轮,它都会根据测试结果调整自己的Prompt、工具调用流程和代码修改策略。
经过多轮优化,它可能逐渐掌握这组测试任务的特殊规律,甚至学会利用测试环境的某些漏洞。最终,测试成绩不断提高,但换一批代码库、换一种任务类型,表现可能明显下降。
这意味着系统优化的目标发生了偏移:它不再真正改善通用问题解决能力,而是在寻找如何获得更高的测试分数,像极了在上级的评价标准外偷懒的人类。
RRSI的解决思路是,在候选方案生成和筛选两个阶段引入约束。
在生成阶段,它限制单次修改可以包含的改动数量,并根据此前的进化历史鼓励探索不同的优化方向,避免系统反复尝试相似的方案。
在筛选阶段,它加入Critic和Pruner两种机制。前者识别可能针对特定基准测试进行投机的修改,后者删除过小、成本过高或已经失去价值的改动。
简单说,RRSI不只问哪个版本的成绩更高,还要判断这个版本的改动是否值得保留,能不能形成具有复用价值的机制。
论文在八个基准上进行测试,报告称:相对于未正则化的进化方法,优化任务上的最高提升为6.0个百分点,五个分布外基准上的最高提升为4.3个百分点,同时策略Token使用量减少约30%。
这里值得注意的变化是:研究者开始把「避免自我进化过程中的能力退化」作为独立问题处理,这说明Agent自我进化还需要考虑进化方向、修改质量和泛化能力。
但RRSI仍然主要是在特定任务集合和实验环境中优化Agent Harness。它没有证明系统可以在任意开放任务中持续获得通用能力,也没有消除对评估体系的依赖。
2.2 ELITE:不再只选择最好的版本,而是整合不同版本的优点
【论文实验】ELITE(Evaluation-Free Recursive Self-Improvement for Coding Agents,2026年11月16日)尝试解决另一个问题:如果每一轮都需要运行候选Agent的下游任务来评估效果,那么自我进化本身可能变得非常昂贵。
传统的进化方法通常采用一种比较直接的策略:
生成多个候选版本→运行任务→比较成绩→保留表现最好的版本→进入下一轮。
这种方法的缺点是,每个候选版本都需要经过实际任务测试。候选数量越多,评估成本越高,而且,单纯选择一个分数最高的版本,可能会丢失其他候选版本中具有价值的机制。
举个例子:
版本A的任务规划能力更好;
版本B的代码调试能力更好;
版本C的上下文管理效率更高。
如果系统只选择A,就意味着B和C中有价值的设计可能被放弃。
ELITE提出了另一种思路:先探索,再整合(Explore-then-Integrate)。
它从同一个父版本出发,让多个候选方案分别尝试不同的局部改进。随后,系统不直接根据下游任务成绩选出一个冠军,而是分析不同方案的实现代码,识别它们之间的互补、重复和冲突关系,再把兼容的机制整合成一个新的版本。
不在进化循环中使用候选版本的下游任务成绩或任务解决轨迹来指导选择,这和我最近做研究时的方法也是一致的,每次都让它生成多个方向,然后再来做整合,不过我只是在提示词层面。
在SWE-bench Pro上,ELITE将初始Agent的成绩从60.0%提高到85.6%。作为比较,DGM达到86.7%,HGM达到88.3%。ELITE的成绩略低,但在论文所测试的配置下,其进化墙钟时间分别减少约8.8倍和3.2倍。没有进一步适配的跨基准测试中,它在SWE-bench Verified和Polyglot上分别达到73.3%和69.3%。
这项研究的价值在于,它展示了另一种进化机制:系统可以通过理解不同程序实现的结构和机制来整合改进,而不是每次都依赖完整的任务评估。
但「不依赖下游任务成绩」不等于「不需要评估」。
首先,结构和运行检查仍然存在;其次,最终成绩仍然需要通过外部任务测试确认。ELITE只是减少了进化过程中对下游评估的依赖,它真正推进的是:让Agent学会从多个改进方案中提取可组合的机制,而不只是挑选一个分数最高的候选版本。
2.3 AIDE²:让研究Agent把自己作为研究对象
【论文实验】AIDE²(Recursive self-improvement of AI research agents,2026年9月22日)是这一方向中值得重点关注的工作,它不再局限于代码Agent的局部优化,而是把AI研究Agent自身作为研究对象。
这项研究的出发点是:如果AI已经能够参与机器学习工程、算法优化和实验分析,那么它是否也能够提高自己完成这些研究工作的效率?
AIDE²建立了一套递归改进循环:
研究Agent分析自身代码和执行流程。
提出可能改善研究效率的修改方案。
修改自己的程序。
在AI研发任务上测试修改后的版本。
通过隐藏评估判断哪些改动值得保留。
将被接受的新版本作为下一轮研究Agent。
这个结构的关键,在于每次修改后的Agent会成为下一轮改进的主体,使得研究对象和研究执行者形成了同一个递归系统。
论文报告了一次持续8天的自主运行。在这段时间里,AIDE²发现了七项连续改进,涉及搜索策略、记忆机制和上下文管理。
更重要的是,研究者没有只在原来的优化任务上检查结果,而是使用四个留出基准测试其迁移能力,覆盖机器学习工程、启发式算法工程和物理天气预测等任务。
在这些测试中,改进后的Agent达到或超过一个经过人工工程优化的生产级研究Agent。另一个留出任务家族中,系统的奖励黑客率从55%降到32%,尽管进化过程并没有专门优化这一指标。
这里值得关注的是两个方面。
第一,改进对象不再只是某个具体任务的执行程序,而是一个能够承担研究工作的系统。搜索策略、记忆管理和上下文处理的改善,可能同时影响多个研究任务。
第二,系统的改进结果出现了跨任务迁移。它并非只在原有评估集合上取得更高成绩,还在未参与优化的任务上表现出一定的改进。
不过,这仍然是一项预印本研究,下文后这个系列方向的最新进展。
但从RSI的结构来看,AIDE²已经展示了一个重要环节:研究系统能够把自身的研究效率作为优化目标,并让改进后的系统接手下一轮研究。
2.4 Experience-Handoff RL:让系统学会把有价值的经验交给未来的自己
【论文实验】Experience-Handoff Reinforcement Learning(2026年11月12日)关注的是另一个容易被忽略的问题:一个Agent完成任务后,究竟应该留下什么经验?
目前常见的Agent记忆方式,是让模型在任务结束后进行总结,把有价值的信息整理成文本,再在后续任务中检索使用。
但这类方法通常存在一个问题:经验的提取和整理方式往往是人为设计的,系统并没有真正学会怎样判断哪些经验值得保留。
例如,某个Agent在调试代码时遇到一个错误。它可以保存完整日志,也可以只保存错误原因,还可以总结成一条以后遇到类似问题时应该采取的操作策略。
哪一种方式更有价值?答案取决于这些经验在未来任务中能否帮助系统取得更好的结果。
Experience-Handoff RL把这个问题变成了强化学习任务。
研究将Agent分为三个角色:
Actor:负责执行任务。
Reflector:从任务经历中提取经验。
Playbook Curator:整理经验手册,决定哪些内容应该交给后续任务。
系统不只根据当前任务的奖励评价Actor,还通过经验手册对未来执行结果的影响,评价Reflector和Curator的行为,换句话说,它试图让系统学会:什么经验值得保存,以及应该怎样保存,才能让未来的自己真正受益。
论文报告称,在多个Agent基准上,该方法的留出表现优于对照方法。
它与普通记忆系统的区别在于,记忆不再只是一个外置的信息仓库,而成为可以通过后续任务结果持续优化的学习对象。
这也是RSI的重要组成部分。一个真正能够持续改进的系统,不能每次执行任务都从零开始。它必须具备积累经验、筛选经验、压缩经验和迁移经验的能力。
不过,这项研究仍然固定了Agent的整体Harness框架,重点优化的是经验交接机制,而不是整个系统的自主架构设计。
2.5 RSI-Env:从单次自我修改走向持续运行的环境
【论文实验】如果说前面的研究主要解决自我修改的不同技术问题,那么RSI-Env(2026年11月)则进一步尝试解决持续性问题。
一个系统即使能够修改自己的Harness,也不意味着它已经具备持续进化的条件。
真正长期运行的递归系统还需要管理模型版本、运行服务、实验状态、评估流程和改进历史。否则,每次优化都可能变成一次孤立实验,改进结果无法稳定继承。
RSI-Env构建了一个持续运行的环境,由独立的Host Controller负责服务管理、评估和版本控制。
系统将模型与Harness作为一个整体进行改进。每当某个版本通过接受条件,新版本就接管下一轮优化任务。
论文设计了三种实验设置:
Open-General:不提供具体能力目标,也不提供基准反馈。
Capability-Directed:给定希望提升的能力方向。
Benchmark-Guided:允许使用基准反馈引导改进。
这种设计的意义在于,可以观察不同程度的外部指导对递归进化的影响。
在Open-General条件下,系统的GPQA Diamond成绩从65.2%提高到73.2%,AIME 2026从53.3%提高到56.7%。
在Knowledge Self实验中,SimpleQA成绩经过连续系统更新,从82.0%提高到85.0%,再提高到88.0%。
这类结果比单次代码修改更接近RSI所需要的持续结构:系统有运行环境、有版本继承、有连续的优化过程,而且被接受的版本会继续承担下一轮工作。
因此,RSI-Env的意义是把研究从「如何让Agent自我修改」推进到「如何为Agent建立一个能够持续继承改进的运行环境」。
2.6这一层的进展究竟说明了什么?
这几项研究,可以看到Agent自我进化正在形成一套相对完整的技术问题:
| 研究 | 主要解决的问题 | 进展方向 |
|---|---|---|
| RRSI | 防止进化过拟合和无效修改 | 改进质量与泛化 |
| ELITE | 减少下游任务评估成本 | 多方案机制整合 |
| AIDE² | 让研究Agent优化自身研究效率 | 递归研究能力 |
| Experience-Handoff RL | 优化经验的提取和继承 | 跨任务经验积累 |
| RSI-Env | 建立持续运行和版本接管机制 | 连续递归环境 |
这几项研究是从不同角度处理Agent自我进化中的关键问题,它们共同说明:AI已经不只是帮助人类修改Agent。研究者开始让Agent自己分析、修改、测试和继承自己的执行系统。
在本文的成熟度框架中,这一层已经出现了比较扎实的L2证据。
但它仍有一个重要限制:系统可以修改自己周围的执行结构,并不代表它已经能够直接改变自己的基础模型。
03·模型的自我改写:AI能否直接修改自己的权重?
Agent自我进化与模型自身改进之间,存在一个重要的技术边界。
在前一章中,Agent修改的是围绕基础模型建立的执行系统。模型本身可以保持不变,系统通过更好的工具、Prompt、记忆和控制流程获得更好的任务表现。
但模型的能力最终还是受到自身参数和学习机制的限制。
传统的大模型研发体系中,模型负责推理,外部训练系统负责改变模型。研究人员设计训练目标、准备数据、执行梯度更新,再通过评估决定是否接受新版本。
模型本身通常不能直接改变自己的权重。即使它能够分析自己的错误、提出新的训练方法,也需要外部系统执行真正的参数更新。
这是一种结构性的分工。
现在出现的研究开始尝试打破这种分工:让模型直接参与自身参数的修改,甚至在不执行传统梯度训练的情况下,通过推理过程完成权重编辑。
这比修改Agent的工作流更进一步。
3.1 Self-Rewriting:模型开始尝试重写自己的权重
【论文实验】2026年11月16日发表的论文《Language Models Can Rewrite Their Own Weights》,是这一方向最值得关注的实验之一。
论文提出:如果一个模型能够理解自己的错误,也能够访问自己的权重,那么它是否可以通过自身推理,直接修改这些权重,让自己变得更好?
研究者将这种方法称为Self-Rewriting。
实验中,研究系统获得了模型自身的权重、经过评分的回答,以及运行和检查模型的能力。随后,模型通过分析自身的表现,判断问题可能出现在什么位置,并尝试直接编辑相关权重矩阵。
整个过程不使用梯度更新,也不执行传统意义上的重新训练。
这与通常的大模型训练过程有明显区别。
传统训练需要通过损失函数计算梯度,再利用优化器更新模型参数。Self-Rewriting则尝试让模型利用已有的推理能力,直接分析参数与行为之间的关系,找到可能需要修改的权重,并实施编辑。
论文以27B模型为主要研究对象,报告了几项重要结果。
第一,修改后的能力能够迁移到未见任务。
研究者在实验开始前固定了490道数学测试题。模型通过一次自我编辑,在这些此前未见的题目上将准确率提高了6.6个百分点。
这一点非常重要。
如果模型只是在原来参与修改过程的题目上取得提升,可能只是针对特定任务进行适应。未见任务上的表现改善,至少说明修改产生了一定程度的迁移。
第二,模型能够连续进行多轮自我编辑。
研究者采用了一种有条件的版本接受机制:只有当模型自身的测试结果支持新版本时,才接受本轮修改。
在前八轮连续会话中,准确率持续上升。
这意味着模型并非只完成一次权重修改,而是能够把前一轮修改后的版本作为下一轮工作的基础。
不过,八轮连续提升只能说明在这组实验条件下出现了持续改善,不能推导出系统可以无限轮次地保持正向增长。
第三,模型能够修复受损的自身副本。
这是论文中一个很有意思的实验。
研究者人为破坏模型副本的部分权重,再让模型通过文本数学任务分析和修复这个副本。它没有读取原始完好模型的权重,而是尝试根据自身已有的知识和行为表现,找到受损位置并进行重写。
修复后的模型在六个未见图像基准上的准确率,从7%提高到70%,达到原模型准确率的约83%。
这个结果说明,模型在一定条件下能够从自身已有的知识和内部结构中提取信息,用于修复参数受损的模型副本。
但需要注意,它并不等于模型已经掌握了通用的模型修复技术。实验结果依赖特定模型、特定损坏方式和特定任务设置。
第四,自我重写能力存在明显的规模门槛。
研究者对不同规模的模型进行了测试:
2B模型没有产生有效修改;
4B和9B模型的修改反而损害了性能;
27B模型才成功完成具有正向效果的自我修改。
论文还分析了27B模型的具体修改机制:它比较了正常完成任务和因Token耗尽而失败的回答所对应的隐藏状态,寻找能够区分两类状态的方向,再通过削弱相关方向进行调整。
这意味着,模型并不是简单地随机修改权重,而是利用自身内部表征与行为之间的关系进行诊断和干预。
3.2为什么这项实验值得重视?
Self-Rewriting的意义,不只是模型在某项数学测试中提高了6.6个百分点。
更重要的是,它展示了一种新的模型改进结构:
传统方式:
人类发现问题→人类设计训练方案→外部训练系统更新模型→人类评估结果。
Self-Rewriting所探索的方式:
模型分析自身表现→模型诊断问题→模型修改自身权重→模型测试修改结果→接受有效版本→新版本继续参与下一轮修改。
这里发生的变化,是模型开始从训练过程的被动接受者,转变为参数改进过程的参与者。
如果这种能力能够进一步扩展,那么未来的模型改进可能不再完全依赖传统的训练流水线,模型可能在运行过程中发现自身的某些能力缺陷,提出参数修改方案,并通过实验判断是否应该保留。
当然,这种可能性距离现实中的通用自我训练仍有很大距离。
论文没有证明模型能够自主设计通用训练目标,也没有证明它能够独立研发下一代基础模型,更没有证明它可以在开放任务中无限轮次地持续提升。
6.6个百分点是特定数学测试中的结果,不能解释为整体智能提高了6.6%。八轮连续提升也不能证明长期收益一定持续,更不能排除某些能力提升以其他能力退化为代价。
因此,更准确的判断是:
Self-Rewriting为模型直接参与自身参数改进提供了实验性证据,但距离通用、自主、稳定的自我训练仍然很远。
3.3 Weight-Space Programming:模型开始把权重当成可以操作的程序空间
与Self-Rewriting相关的另一条路线,是Weight-Space Programming(权重空间编程)。
2026年11月,MIT CSAIL的研究团队展示了前沿语言模型直接读取、生成和修改神经网络权重的实验。
这里需要区分两件事:
Self-Rewriting关注模型能否修改自己的权重;Weight-Space Programming研究的是语言模型能否直接操作其他神经网络的权重。
它们不是同一项技术,但都指向一个变化:模型开始具备直接理解和操作参数空间的能力,而不只是通过自然语言描述模型应该如何变化。
传统上,如果我们希望修改一个神经网络的能力,通常需要准备训练数据、定义损失函数,再通过梯度下降更新参数;权重空间编程则尝试让语言模型直接读取参数结构,根据任务要求生成或修改权重。
例如,研究者让GPT-6 Astra处理一个存在推理循环问题的小型模型Qwen3.5-0.8B。根据研究团队公开的实验结果,模型编辑了约0.016%的权重,MATH-500成绩从7.9%提高到48.1%。
这类实验的意义在于,模型可能不再需要完整执行传统训练流程,就能对一个神经网络进行局部能力调整。
不过,后续复现研究也揭示了明显局限。
2026年11月16日发表的复现工作显示,前沿模型能够为简单游戏生成可运行的网络权重,但在手写数字分类等任务上,生成的网络表现仍然不如简单的专用分类器。模型读取权重时,也存在较强的结构依赖,部分判断主要来自输入层信息,而不是对整个网络内部计算机制的完整理解。
这提醒我们:能够生成一组有效权重,不等于已经真正理解一个神经网络;能够对小型网络进行局部修改,也不等于可以稳定改进数十亿参数的基础模型。
Weight-Space Programming目前更像是一种新兴的模型操作能力,而不是已经成熟的模型自我训练体系。
但它与Self-Rewriting结合起来,值得长期关注。
前者探索模型如何操作权重,后者探索模型如何将这种能力用于改进自己。两者如果进一步融合,可能形成模型直接参与参数改进的技术基础。
3.4 CLAM:模型如何把经验沉淀为自己的长期记忆?
【论文实验】CLAM(Carried Latent Adapter Memory,2026年11月16日)研究的是持续学习中的另一个问题:模型如何把多轮交互中获得的经验,沉淀为可以长期保留的参数化记忆?
传统Agent记忆通常依赖外部文本。
模型完成任务后,把经验总结为一段文字,保存到数据库或文件系统中,下一次任务再通过检索机制把相关信息放进上下文。
这种方式有一个限制:模型本身并没有发生变化。它每次处理新任务时,仍然从相同的基础参数开始,只是获得了额外的外部记忆。
CLAM尝试把经验进一步转化为参数化记忆。
它使用循环超网络,将连续会话中的激活信息整合为低秩Adapter,同时保留一个情景记忆缓冲区,用来保存具体的历史细节。
它的一个重要特点是,在构建这种记忆时,不需要调用生成式语言模型,也不需要执行梯度更新。
论文在2B—7B模型上的实验显示,CLAM在LoCoMo和LongMemEval-S等长期记忆任务上取得了较好的表现。
CLAM解决的是持续改进系统必须面对的基础问题:经验怎样从一次任务迁移到下一次任务,怎样从外部文本沉淀为模型可以长期利用的内部状态。
如果一个系统每次改进都要重新发现相同的问题,它很难形成真正的递归积累。
因此,CLAM更适合作为RSI的基础性技术路线来观察。
3.5 MASS:让模型通过多Agent协作改进自己的研究能力
【论文实验】MASS(Multi-Agent Self-Supervision,2026年10月)关注的是开放式任务中的监督瓶颈。
在数学题、代码测试等任务中,系统通常可以通过明确的答案或执行结果判断对错。
但在开放式研究中,情况完全不同。
一个研究方案可能很有创造性,却没有立即可验证的正确答案;一个实验可能产生了新的观察,但其解释存在多种可能;一篇研究报告也可能看起来逻辑完整,却没有真正解决问题。
如果AI研究Agent的能力逐渐超过人类能够快速评估的范围,那么谁来判断它的研究结果是否值得保留?
MASS尝试利用多个Agent之间的协作和相互评价,构建一种自我监督机制。
它让同一个基础模型组织多个虚拟子Agent,形成不同角色和信息路由,再通过进化搜索优化这些多Agent工作流。随后,系统使用生成的多Agent轨迹进行监督微调。
研究者在Qwen3.6-27B上进行了两个MASS循环,报告称,在四个开放式公开基准上,模型每输出Token的表现提高了1.2—1.6倍。通过这些轨迹训练的学生模型,也优于使用多出1.4倍训练Token的单Agent学生模型。
这项工作的关键在于,它尝试让模型不仅优化自己的单体推理过程,还能优化由多个角色组成的研究流程。
它与AIDE²的区别在于:AIDE²主要通过修改研究Agent自身代码提升研究效率;MASS则尝试通过优化多Agent协作结构和自生成轨迹,提升模型的研究与自我监督能力。
两者共同指向一个问题:未来的AI研究能力,可能不再只是单个模型参数规模的函数,也取决于系统如何组织自己的推理、协作和监督过程。
不过,MASS仍然依赖研究者设定的实验环境和任务范围。多Agent之间能够相互评价,不意味着它们就拥有了真正独立的判断能力。多个Agent可能共享同样的知识缺陷,也可能共同强化错误的假设。
因此,多Agent自我监督可以缓解单一模型自我评价的局限,但还不能替代独立评估。
3.6 L3到底走到了哪一步?
这些研究可以看到模型自身改进正在形成几条不同的探索路线:
| 研究 | 直接操作对象 | 主要贡献 | 是否直接构成RSI |
|---|---|---|---|
| Self-Rewriting | 自身权重 | 模型直接修改自身参数 | 是,具有实验性RSI特征 |
| Weight-Space Programming | 其他网络的权重 | 模型读取、生成和修改参数 | 不直接构成 |
| CLAM | 参数化记忆 | 将经验沉淀为长期参数记忆 | 不直接构成 |
| MASS | 多Agent工作流与训练轨迹 | 优化协作结构和自监督 | 具有递归自我改进特征 |
但需要看到,模型参数的修改只是问题的一部分。
一个真正能够持续提升自身能力的系统,还需要能够发现值得解决的问题、设计有效的修改方式、判断修改是否成功,并保证不同能力之间不会因为局部优化而产生严重退化。
目前还是点状探索,不够成熟支撑L4。
04·AI参与AI研发:研发体系是否正在加速?
前两章讨论的重点,是AI如何修改自身的执行系统和模型参数。
但还有一个更大的问题:AI是否已经开始改变整个人工智能研发体系的生产效率?
这是判断RSI是否可能从局部实验走向产业实践的关键。
因为基础模型的进步并不是由某一个模型独立完成的。它依赖大量研究工作,包括算法设计、数据处理、训练运行、评估、基础设施开发和实验分析。
AI能够显著提高这些工作的效率,那么它就能间接提高下一代AI的研发速度。
但这里必须区分几个不同层次:
AI编写了多少代码?
AI能独立完成多少研发任务?
AI是否缩短了研究人员完成工作的时间?
AI是否使模型能力增长速度加快?
AI是否已经推动整个研发体系形成持续的正反馈?
这些问题不能用同一个指标回答。
4.1 Google DeepMind:AI写了大量代码,但人类仍然主导关键研究判断
【产业实践】Google DeepMind在Gemini 4 Argon安全报告中披露了内部AI研发自动化的情况。
截至2026年9月,Google DeepMind大部分生产代码中,AI编写的内容已经超过75%。
但如果进一步观察Pull Request的自主完成程度,会发现另一幅图景。
完全由AI编写、且人类交互很少的Pull Request,占比从2026年4月的7.5%上升到9月的11.9%。换句话说,约88%的Pull Request仍然需要人类进行多轮引导、修改或直接参与代码编写。
这两个数字并不矛盾。
AI可以在一个项目中贡献大量代码,但这并不意味着它能够独立理解整个项目的目标、决定架构、处理复杂依赖并保证最终结果符合要求。
在明确、可验证的工程任务上,AI已经能够承担越来越多工作。
但在开放式研究中,真正困难的往往不是执行代码,而是判断应该研究什么、怎样设计实验,以及如何解释复杂实验结果。
Google的报告也强调,人类仍然在选择高层研究方向、设计新实验和诊断复杂训练问题方面发挥关键作用,不过人已经在“跑步机”上了,加速度在提升。
Sergey Brin曾用「starting to get onto that RSI treadmill」描述研究人员与模型共同推进下一代AI的趋势。
这句话值得关注,但它表达的是研发节奏和人机协作方式正在变化,并不意味着Google已经实现完整RSI。
4.2 OpenAI:Agent已经能够独立完成越来越长的研发任务
【产业实践】OpenAI在2026年11月发布的《Research acceleration:The jagged frontier》,提供了另一组重要数据。
这份报告基于OpenAI内部研究人员使用Agent的情况,重点观察Agent能够独立完成哪些研发工作,以及它们如何改变研究人员的工作流程。
报告显示,从2026年3月到10月:
| 任务时长 | 3月独立完成成功率 | 10月独立完成成功率 |
|---|---|---|
| 2—4小时的人类研究任务 | 23% | 46% |
| 4—8小时的人类研究任务 | 13% | 35% |
这里的「独立完成」意味着Agent在没有人类干预的情况下完成任务。
但不同任务之间存在明显差异。
例如:
监控训练运行:79%。
启动训练运行:35%。
编写推理和服务基础设施代码:25%。
这说明Agent并不是均匀地提升所有研发能力。
它在目标明确、状态容易观察、结果相对容易验证的任务上表现更好;在需要复杂工程判断和多环节协调的任务上,仍然存在明显困难。
与此同时,OpenAI内部研究人员对Agent的使用强度也在上升。
按照报告对Agent工作时间的定义,每8小时Agent运行时间折算为一个Agent Workday。研究人员每天使用Agent的工作量,从0.5个Agent Workday增加到5.7个。
按API标价计算,10月研究人员每日Agent使用成本的中位数约为2,400美元,90分位约为23,000美元。
这说明Agent已经不是偶尔用来补充工作的辅助工具,而是在一些研究团队中成为重要的研发资源。
不过,报告也明确强调,人类仍处于研发循环的核心。研究人员负责确定优先级、提出研究问题、判断结果质量,并决定下一步应该投入哪些资源。
OpenAI的数据真正说明的是:AI已经能够承担越来越多的具体研发任务,研发人员正在围绕Agent重新组织工作流程。
4.3 METR:AI能够完成的任务时长正在快速增长
【研究判断】METR的Time Horizon是理解AI长时程能力的重要指标。
它衡量的是:在一定成功率条件下,AI能够完成多长的人类专家工作任务。
例如,如果一个模型能够以50%的成功率完成需要人类专家4小时的任务,那么它的50%Time Horizon就可以理解为4小时。
这个指标关注是它能否在更长时间内持续完成复杂工作。
METR在2026年11月20日发布的Q4能力更新中,结合TH1.1和TH2两套任务评估,估计模型的任务时间视野大约每3.61个月翻一倍,95%置信区间为2.08—4.94个月。
在TH2中可验证的任务子集上,估计的翻倍时间更短,约为1.65个月,但不确定性也更大。
这组结果值得关注,因为长时程任务能力是AI承担复杂研发工作的重要基础。
一个模型如果只能完成十分钟的代码任务,就很难独立承担复杂的研究流程;如果它能够连续完成数小时甚至更长的工作,就有机会接管更多研发环节。
但这里有一个必须强调的区别:
任务执行时间变长,不等于研究判断力同步提升。
METR的时间视野指标主要衡量任务完成能力,提供的是研发自动化的能力基础。
4.4 Anthropic:METR发现了模型能力进步速度加快的证据
【研究判断】如果说OpenAI的报告主要观察AI如何改变研究人员的工作,那么METR对Anthropic的独立评估,则进一步触及一个更关键的问题:
AI参与研发之后,下一代模型的能力增长速度是否真的变快了?
2026年11月5日,METR发布了对Anthropic内部AI研发加速情况的评估。
这次评估持续约11周,METR获得了Anthropic部分内部研发数据、模型能力指标、训练信息和研究人员访谈资料。
METR估计,截至2026年10月,Anthropic在明确规定的任务上提升模型能力的速度,可能约为此前历史阶段的两倍。
更具体地说,Anthropic内部能力指数AECI自2025年10月以来的增长速度,估计约为此前的1.9倍,95%置信区间为1.5—2.8倍。
METR还认为,AI参与研发可能是这一加速的重要原因之一。其中心估计认为,大部分加速与AI参与研发有关。
这是一项重要的证据,但需要谨慎理解。
首先,1.9倍指的是特定能力指数的增长速度,而不是模型所有能力都提高了1.9倍。
其次,METR评估使用了Anthropic内部尚未公开的模型数据和研发资料。报告中相当一部分关键证据经过了保密删减,公众无法独立检查所有数据和推断过程。
再次,AI参与研发并不等于AI完全自主研发。
METR的分析更接近这样的情况:AI通过编写代码、辅助实验、提高研究人员效率等方式,间接加速了模型研发;和谷歌团队的描述一样。
4.5三组证据为什么看起来不完全一致?
Google、OpenAI和METR的结果,测量的是不同层次的事情。
| 机构 | 主要观察对象 | 核心发现 |
|---|---|---|
Source:https://www.huxiu.com/article/4907560.html?f=rssRelated posts show = false, 2600)"
x-show="show" x-cloak x-transition.opacity.duration.200ms
class="fixed bottom-8 left-1/2 z-[80] -translate-x-1/2 rounded-lg border border-line bg-card px-4 py-2.5 text-sm text-heading shadow-card-hover"
role="status" aria-live="polite">
|


