昨晚推上最热的研究：我们可能可以像编程一样，让 AI 编写 AI 模型的权重文件。团队用 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重，只改动 0.016%，MATH-500 准确率就提到原来的约 6 倍，IFEval 指令跟随提到约 3 倍。
昨晚推上 AI 圈最热门的研究：
我们可能可以像编程一样，让 AI 编写 AI 模型的模型权重文件了。
有个团队用 GPT-6 Astra 直接编辑了 Qwen3.5-0.8B 模型的权重，大幅提升了它的数学能力。
他们仅更改了 0.016% 权重的情况下，将 MATH-500 数学测试准确率提高到原来的约 6 倍，IFEval 指令跟随测试准确率提高到原来的约 3 倍。
没有进行重新训练，也没有进行后训练和强化学习，只是直接更改了它的参数。
这带来了一个非常新的范式，有望推进模型的可解释性研究，也就是说我们可能可以不通过训练，直接提高模型能力。
特别大的模型由于参数量太大，可能会比较麻烦，但小模型在未来一段时间内能力会大幅提升。具体有这么几个方向：
- 释放它已有的能力，比如实验里改善的千问 Qwen3.5-0.8B 出现重复推理、频繁触及思考长度上限的问题
- 将某种控制策略直接移植到模型里面去。模型的控制和对齐是非常难的事，现在有机会直接干预它的部分行为。
- 重新组织计算。用更有效的计算路径，替换模型训练出来的低效策略。
相当于给模型训练和控制做了一套编程体系，这个想象力太大了。
我们现在来介绍一下这个研究。
昨天 MIT CSAIL 团队发布了一项研究。一句话概括：让 GPT-6 Astra 直接修改千问 Qwen3.5-0.8B 的模型权重文件，大幅提高了它的数学成绩。
Astra 只修改了大概 0.016% 的权重，就让这个模型在 MATH-500 数学测试集中的准确率从 7.9% 提高到 48.1%，变成了原来的 6 倍左右。
它到底做了什么？
平时我们说 AI 写代码，是让它开发网站、修改程序，但这次它的操作对象是一个 AI 的内部参数，也就是决定模型如何处理信息的底层参数。
研究人员禁止它使用梯度下降来训练模型，但给了它分析工具、带答案的练习题（不包含最终评测集）以及运行模型的工具。
GPT-6 可以观察错误、分析内部状态、提出修改方案，然后再测试是否有效。
结果 GPT-6 Astra 在给定提示和工具的帮助下发现该模型存在一个严重问题：
做题时经常陷入反复的重复思考，迟迟给不出最终答案。
在作者的设置下，模型运行 MATH-500 测试集时，有 93% 的回答会耗尽输出长度上限，许多回答因此没能给出最终答案。
随后它找到了与重复思考相关的内部计算参数，直接修改了其中两个层的一小部分权重。
修改完成后，更多题目能够顺利做完并交出答案，数学分数因而大幅提升。
这里并没有凭空提高模型的数学能力，只是通过修改权重修复了缺陷。
把它原本具备、却被过度重复思考所限制住的能力释放了出来。
作者也试过另一个较少出现循环的小模型 Gemma 3 270M，但这次没有获得明确的数学能力提升。
这个实验非常有意思。
我们一直在讨论 RSI（递归自我改进），也就是让 AI 改进自身，并用改进后的能力继续自我改进。
这项研究为自迭代探索了一条值得关注的路径：
我们观察到了明确的信号，模型开始尝试理解另一个模型哪里出了问题，并主动通过修改权重来修复缺陷。
甚至可能 Anthropic 这种头部厂商内部已经有类似方案了，即用自己的模型来辅助训练和修改模型。
作者将这个方向称为“权重空间编程”。
不过，这次展示的是一个模型修改另一个模型，尚未展示模型修改自身并持续自我改进。
在同一项研究里，他们还做了另一个实验：
给 Astra 游戏规则、源码和网络结构，让它从零写出一个会玩游戏的小型神经网络。
以往神经网络的权重通常通过训练得到，而这次就像编程一样，在给定的网络结构内直接把权重写了出来。
在三个小游戏的测试中，这个直接写出来的模型甚至超过了作者使用相同网络结构、训练了一亿步的 PPO 模型。
大语言模型会先构思出该怎么玩，再把策略翻译成小网络内部的计算逻辑。
直接修改模型权重此前已有相关研究，但这项工作带来的全新方向在于：
让大语言模型自动参与分析、设计并验证这些权重和神经网络的修改。
虽然目前实验主要针对小型模型，但这展示了一种可能性：
随着模型能力提升，我们能够编辑权重的模型规模会越来越大，模型也将逐渐走向自主进化。
这是向 RSI 迈出的有意思的一步。
困扰我们已久的大模型幻觉、可解释性以及对齐等难题，都有可能在这个方向上取得重大突破。
虽然近期模型更新对我们普通人来看，感知不到太多的进步
但这些前沿模型模型展现出的能力，在前沿科学领域的发展速度真的非常惊人。
原始研究：rikiyat.github.io/blog/weight-space-programming/
作者：歸藏的AI工具箱 公众号：歸藏的AI工具箱
本文由 @歸藏的AI工具箱 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自 Unsplash，基于CC0协议
