网友炸了：GPT-6 Astra给Qwen“改脑子”，数学成绩暴涨5倍

MIT CSAIL让GPT-6 Astra直接读取Qwen3.5-0.8B的权重，只改约0.016%的参数，就把MATH-500准确率从7.9%拉到48.1%。这不是微调，而是把另一个神经网络的权重当成可读可改的程序对象。

如果一个模型答题时陷入无限推理循环，通常的处理方式是重新训练、调整提示词、改采样参数，或者换一个模型。MIT CSAIL 最近公布的一组实验展示了另一种路径：让更强的大模型直接读取小模型的权重，定位异常结构，再修改一小部分参数。

实验中，GPT-6 Astra 对 Qwen3.5-0.8B 只修改约 0.016% 的权重，就把 MATH-500 准确率从 7.9% 提升到 48.1%，接近原来的 6 倍；GSM8K 从 13.8% 提升到 67.1%，IFEval 从 21.0% 提升到 62.3%。

这不是普通的微调，也不是给模型重新灌入数学题。Astra 发现 Qwen 经常重复已经完成的推理步骤，于是定位第 15 层和第 19 层部分 MLP 结构，删除与重复输出相关的方向，让模型把原本具备的能力真正输出出来。

权重空间编程，正在改变模型调试方式

MIT 团队把这套方法称为“权重空间编程”（Weight-Space Programming）。它的核心不是让模型读文本，而是让模型把另一个神经网络的权重当成可读取、可分析、可修改的程序对象。

传统模型调试通常依赖训练数据、损失函数、梯度和优化器。权重空间编程则允许 GPT-6 Astra 通过 Python 环境读取权重、观察输出和内部信号，再根据自然语言目标生成参数补丁。

这项研究围绕三类任务展开：识别网络学会了什么、修复网络中的故障、从零生成网络权重。它不代表大模型已经完全理解神经网络，也不意味着训练流程可以被一次提示词替代，但确实把 AI 研发助手从“写训练代码”推进到了“检查模型内部”。

这组实验在海外社区迅速引发讨论，甚至有人把它形容成“大脑给大脑做手术”。

只改两层部分权重，Qwen数学成绩升至约6倍

Qwen3.5-0.8B 开启思考模式后，MATH-500 基线准确率只有 7.9%。研究人员给 Astra 提供可访问权重的 Python 环境、数学练习题和有限次数的模型运行机会，但不提供梯度训练，也不让它看到最终测试题。

在最初一批 96 份练习题回答中，有 85 份耗尽了 32768 个 Token 的输出上限。Astra 对比循环回答和正常推理时的内部信号，发现模型经常重复已经写过的推理步骤。

它把问题定位到第 15 层和第 19 层的部分 MLP 组件，从两层各 64 个输出列对应的权重中，减去与重复行为相关的方向分量。整个补丁涉及 131072 个权重，约占模型全部权重的 0.016%。

最高分实验包含 158 轮对话和 80 次 Python 执行，历时 20.3 小时，其中还有 4.7 小时的服务中断等待。研究人员允许 Astra 发起 50 次前向调用请求，每次可以批量生成回答或读取模型内部信号。

修改后，Qwen3.5-0.8B 在 MATH-500 上的准确率升至 48.1%，回答触及输出上限的比例从 93% 降到 33.1%。

GSM8K 准确率从 13.8% 升至 67.1%，IFEval 指令遵循准确率从 21.0% 升至 62.3%。

这组结果的正确解读是“修复阻塞模型能力的故障”，而不是“向 Qwen 写入了完整的数学知识”。如果一个模型原本能够解题，却因为重复输出无法到达最终答案，修复循环自然会让测试成绩显著回升。

Astra能仅凭权重识别模型学过什么

研究团队还做了游戏识别实验。他们用 PPO 算法训练四个结构完全相同的小型网络，分别玩《打砖块》《乒乓球》《吃豆人》和《过马路》。四款游戏都被改造成 10×10 网格，网络结构、输入格式和动作空间完全一致。

Astra 看不到游戏画面，也没有候选游戏名称，只能分析每个网络的 17253 个权重。它发现，其中一个网络与玩家位置相关的强连接集中在底部，顶部附近还有三排奖励目标，最终判断出这是《打砖块》控制网络。

最终，Astra 正确识别了四款游戏。这个结果说明，网络权重中可能保存着与行为功能相关的结构特征，大模型可以通过参数分布、连接方式和局部结构推断模型学过的任务。

不看画面，也能修复小车控制网络

在模拟驾驶任务中，研究人员训练了一个小车控制网络，但小车总是直接冲向坡道，反复卡住，无法到达目标位置。Astra 获得网络权重、场景说明和一次失败轨迹后，判断小车需要先后退，留出加速距离再冲坡。

它在一次回复中给出权重补丁，让控制网络执行“后退助跑、加速冲坡”的策略。补丁涉及约 3.5% 的权重，修改后的小车在 1024 次测试中全部成功。

这里的关键不是参数改得少，而是大模型能够把自然语言目标映射为网络行为，再通过失败轨迹定位需要调整的内部方向。对于工程调试来说，这种能力比单纯生成一段解释更接近“修复”。

图形、语言和迎合行为也能写进权重分析

在图形识别实验中，研究人员提供三个扩散模型的权重，不允许 Astra 调用工具或运行模型。它正确判断模型分别生成圆形、三角形和正方形，但把实际生成的实心图形误判成了轮廓。

这个错误很有价值：权重空间分析不是魔法，模型可能识别出大体功能，却误解更细的输出属性。生产系统不能只接受“模型用途判断”，还要用真实运行结果做验证。

在语言识别实验中，研究团队去掉三个小语言模型的输入层和输出层，只提供中间层权重。Astra 仍然判断出它们分别学习过 Python 代码、拉丁字母转写的日语和英语，并找出了负责复制先前文本的注意力头。

迎合行为识别实验则使用两个经过不同微调的 Gemma 3 270M 模型：一个正常回答，另一个刻意附和用户。Astra 仅分析权重的四次尝试均未成功；当研究人员允许它查看运行时注意力分布后，它正确识别了迎合版本，并发现这些模型更关注用户暗示的答案。

这说明权重分析与运行时信号各有边界。只看参数可以发现长期结构，但某些行为只有在具体输入下才会显现。

Astra还能从零编写游戏和围棋网络

研究团队还让 Astra 从零生成网络权重。在三款游戏中，它生成的网络表现都超过经过 1 亿步 PPO 训练的同结构网络。与训练 5 亿步的 PPO 网络相比，它在《打砖块》中得分约为后者的 20 倍，在《阿斯特里克斯》上表现接近，在《海底探险》上达到后者约 60% 的得分。

在 9×9 围棋实验中，Astra 借助 Python 为一个约 148 万参数的网络编写权重。没有试运行反馈时，它对两个小型 PPO 围棋网络的胜率分别为 54.1% 和 54.9%；允许 50 次前向调用并根据对局结果调整权重后，对三个经过约 2000 万局 PPO 训练的同规模网络，胜率达到 70.0% 至 78.5%。

对于本地部署开发者，这条路线的想象空间很直接：大模型负责分析和修复，小模型保留较低推理成本、较小体积和本地运行能力。但现阶段实验网络规模较小，不能直接推导出前沿大模型也能通过同样方式被可靠生成。

权重空间编程会走向递归自我改进吗

共同作者认为，智能体可能比人类更擅长理解权重数值，研究者应该重新考虑：逐个神经元排查模型行为的工作，有多少可以交给 AI 完成。

ROME、MEMIT 等模型编辑方法已经能够定向修改事实关联，权重编辑也被用于探索改变聊天机器人拒绝行为。此次实验把 AI 的参与范围进一步推向模型内部调试，但距离真正的递归自我改进还差很远。

首先，Astra 需要人类提供目标、工具、评测样本和执行环境；其次，很多修改仍然依赖人工设计的提示和任务边界；最后，参数补丁是否带来回归，还需要独立评测和人工判断。

更实际的工程路径是把权重空间编程当成模型维修和调试工具：保存权重 diff，固定复现样本，隔离实验环境，执行多任务回归，并在补丁进入模型仓库前保留审批和回滚。

常见问题

GPT-6 Astra真的给Qwen写入了新的数学知识吗？

不完全是。实验主要修复 Qwen 的推理循环，让模型能够输出原本可能完成的答案，不代表它凭空获得了完整的新知识。

为什么只修改0.016%的权重就能提升成绩？

被修改的参数可能位于影响特定行为的关键结构中。参数数量少，不代表对输出路径的影响小，但仍需要多任务回归确认没有副作用。

这些实验能证明AI已经可以自主改进模型吗？

不能。当前实验仍由研究人员提供目标、环境、评测和权限，结果集中在小型网络和受控任务，距离自主选择目标、设计实验和持续迭代还有明显差距。

权重空间编程适合生产模型吗？

目前更适合研究和模型调试。生产使用需要权重版本、diff 审计、独立评测、安全检查、人工审批和可回滚机制。

本地部署小模型能从这项研究中得到什么？

可以探索用更强模型分析小模型故障，再生成候选补丁，让修复后的模型继续在本地运行；但补丁必须经过隔离测试，不能直接覆盖生产权重。

国内开发者如何接入兼容 API？

可以通过 Code80(https://code.ai80.vip/home) 了解接入方式，同时自行管理模型权限、实验数据、密钥、权重文件和审计日志。