
先说论文说了什么
11 月初刷屏的是一篇名为《Sparks of Weight-Space Programming》的文章,作者是 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab。核心主张是:大模型可以直接阅读、甚至直接改写神经网络的原始权重——就是一串浮点数——并据此提升模型能力,他们把这种做法叫作 "权重空间编程"。
三个招牌结果:只看原始权重,GPT-6 Astra 能说出一个小网络是被训练来玩哪个游戏的;不给环境反馈,它能从零写出小游戏网络,打赢用 PPO 训练一亿步的对手;被要求不用梯度让 Qwen3.5-0.8B 数学变好时,它定位到导致推理循环的权重问题,只改 0.016% 的权重,把 MATH-500 从 7.9% 提到 48.1%,IFEval 还顺带涨了三倍。
拆解者的核心指控:不是同一种技术
spaCy 作者 Matthew Honnibal 写了一篇反驳,用魔术表演打比方:魔术师同一个效果换几种手法演,观众每次推翻自己的猜测,反而更信。他认为这篇论文就是这么工作的——把不同手法的实验放在一起,读起来像一种神奇能力。
他做了张八行实验表,逐项标注 "是否读原始权重、是否写权重、是否写 Python、是否运行网络"。结论很清楚:真正 "只看权重、不给工具、不跑模型" 的,只有第 1、2、4 号实验,网络规模 1.7 万到 17.2 万个权重;凡是涉及真实语言模型的实验,全都用上了 Python,而被当作头条的 Qwen 实验,还额外跑了最多 50 批练习题。
他的原话大意是:Qwen 那组真正证明的是,模型能被提示去做一个人类机器学习工程师会做的事——写代码分析权重、改权重。但把它和 "直接从浮点数里读出训练目标" 放进同一篇,就制造了一个并不存在的统一技术。
另一路验证:笔记本上也能试
Simon Willison 的关注点不同。他挑出 "无工具" 那一半,用论文开源的提示词在本地实测。他用 17GB 的 Qwen 3.8 27B(Q4_K_M 量化)在 LM Studio 里跑 10×10 网格游戏识别:Pac-Man 用了 46 分 12 秒、4.3 万推理 token 才给出 72% 置信度的答案;Pong 花了 1 小时 4 分;Breakout 52 分钟,置信度 88%;Freeway 猜错了,说成 "简化版吃豆人"。
他的结论相当克制:这确实很酷,一个足够有耐心的、拿着纸笔的人大概也能推出来;但据此宣布 "源代码时代结束、未来是不透明的机器互相改权重",依据不足。
怎么读这类"颠覆性"结果
这两篇反驳提供的其实是一套通用的读论文方法。第一,看实验规模:1.7 万参数的玩具网络和 8 亿参数的模型,能力含义完全不同。第二,看给了什么工具:能不能写代码、能不能反复试错,决定了这是 "模型本身的能力" 还是 "模型加工程脚手架的能力"。第三,看是否被独立复现:本地小模型能复现出来的部分,才是硬结论。
值得说明的是,这不等于论文没价值。它展示的 "模型会自己设计实验、写脚本去分析别人的网络" 确实是真的进步,只是这个进步的名字应该叫工程能力,不该叫魔法。
给做企业数字化的小团队的实际启发
第一,供应商拿这类论文做背书时,问三个问题就够:实验里模型能用工具吗?被测模型多大?有没有第三方复现?第二,别被 "AI 自己改模型" 这类叙事带偏节奏——它离稳定交付还很远,而现在能省钱的仍然是提示词工程、数据清洗、流程自动化这些笨功夫。第三,把这种 "拆实验表" 的习惯沉淀成团队内部的评估模板:一行一个实验,标清楚读了什么、用了什么工具、得到什么结果。看多了会发现,大多数夸张结论都死在 "用没用工具" 这一列上。


评论交流
欢迎留下你的想法