如果只给大模型看一串权重数字,它能不能读懂网络学会了什么,甚至动手改参数让模型变强?MIT CSAIL团队的一组早期实验,给「权重空间编程」(Weight-Space Programming)提供了初步证据。
公开结果称,团队让GPT-6 Astra检查Qwen3.5-0.8B内部权重,定位导致反复推理循环的问题后,仅修改约0.016%参数,就把MATH-500成绩从约7.9%提升到约48.1%,指令遵循能力也明显上升;全程没有重新训练,也不走梯度下降。Astra还尝试从零写网络权重:在无训练数据、无梯度的条件下,为部分小游戏写出的策略网,表现超过跑了约1亿步PPO的对照。更早的实验里,Astra能只凭权重判断网络在玩哪款游戏、扩散模型会生成什么形状,甚至比较哪个语言模型更「迎合用户」。
这把「AI帮助写训练代码」推到了「AI直接编辑权重」。它与Anthropic招股书里的RSI讨论形成互文:一边是实验室用自然语言手术刀改开源小模型,一边是Frontier公司把「AI加速AI」写进风险披露。作者也强调结果非常早期,规模、可复现性与安全边界都未闭合。对开源生态,意味深长的是:若权重可被更强模型阅读与修补,模型发布与对齐策略可能都要重写——不只防蒸馏,还要防「被外科手术式改写」。