↑

MIT用GPT-6 Astra直接改写Qwen开源权重:权重空间编程抬升数学成绩

PromptTree|阅读 2
2026/11/03 09:49
MITGPT-6 AstraQwen权重空间编程RSI
MIT CSAIL团队公布早期实验:让GPT-6 Astra直接读取并修改Qwen3.5-0.8B权重,约改动万分之一点六参数,便将MATH-500成绩从约7.9%提升至约48.1%,且未使用梯度下降再训练;团队称之为权重空间编程。

如果只给大模型看一串权重数字,它能不能读懂网络学会了什么,甚至动手改参数让模型变强?MIT CSAIL团队的一组早期实验,给「权重空间编程」(Weight-Space Programming)提供了初步证据。

公开结果称,团队让GPT-6 Astra检查Qwen3.5-0.8B内部权重,定位导致反复推理循环的问题后,仅修改约0.016%参数,就把MATH-500成绩从约7.9%提升到约48.1%,指令遵循能力也明显上升;全程没有重新训练,也不走梯度下降。Astra还尝试从零写网络权重:在无训练数据、无梯度的条件下,为部分小游戏写出的策略网,表现超过跑了约1亿步PPO的对照。更早的实验里,Astra能只凭权重判断网络在玩哪款游戏、扩散模型会生成什么形状,甚至比较哪个语言模型更「迎合用户」。

这把「AI帮助写训练代码」推到了「AI直接编辑权重」。它与Anthropic招股书里的RSI讨论形成互文:一边是实验室用自然语言手术刀改开源小模型,一边是Frontier公司把「AI加速AI」写进风险披露。作者也强调结果非常早期,规模、可复现性与安全边界都未闭合。对开源生态,意味深长的是:若权重可被更强模型阅读与修补,模型发布与对齐策略可能都要重写——不只防蒸馏,还要防「被外科手术式改写」。