36氪热点标题中的“无需训练”,准确含义是:生成目标 Transformer 时不使用反向传播或梯度下降,而不是一次性写出答案。Claude Opus 5.5 仍会依据每轮唯一的验证分数反复修改 Python 代码,并由此重新实例化权重;Claude 基础模型自身的既有训练,也不在这个“免去”的范围内。
这套方法由微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学团队研究,称为可解释权重空间编程(Interpretable Weight Space Programming,iWSP)。它生成的是面向特定算法任务的小型 Transformer,而不是开放 Claude Opus 5.5 的基础模型权重。报道给出的汇总是:在 13 类复杂算法任务、26 次独立运行中,生成网络在隐藏测试集上全部取得 100% 准确率。
这个结果足以说明,程序化权重生成在特定任务和评测协议内是可行的,但不能直接外推为 Claude Opus 5.5 已获得通用意义上的“免训练推理能力”。至于能否复现,现有材料没有列出 13 类任务的名称、逐任务成绩、完整提示词、代码仓库、权重文件与运行配置;报道也没有说明这些资产是否已经公开。因此,当前可以按报道复现这一机制,但不能仅凭报道宣称已经复现“13 类任务全部 100%”。
“不用训练”跳过的具体环节
iWSP 免去的是“通过损失函数计算梯度,再用梯度下降更新目标网络参数”这一环节,却没有免去搜索、验证和修改。 常规训练直接在连续权重空间中寻找参数;iWSP 则把搜索对象换成了程序:Claude 先调用已有先验知识设计计算逻辑,再编写 Python 代码,由代码显式定义特征并实例化具体权重。
报道描述的完整链路可以整理为:
任务描述与已有可复用模块
↓
Claude 调用先验知识编写 Python
↓
代码显式定义特征并实例化具体权重
↓
运行目标网络并获得一个验证分数
↓
复用已经正确的模块,按分数修改代码
↓
生成下一版权重并再次验证
↓
达到停止条件后冻结权重
↓
在隐藏测试集上报告最终结果
这里的“手写权重”不是让模型逐个猜测巨大矩阵中的数字,而是先写出能够执行的计算逻辑,再让代码把这些逻辑转化为张量、参数和具体数值。 对开发者而言,可审查的对象首先是生成代码:每一处计算、每一个特征和每一组参数,都应能追溯到代码中的明确表达。
按报道中的机制,可以抽象出下面这段伪代码:
code = generate_code(task_prompt, reusable_modules)
for round_id in range(max_rounds):
weights = materialize_weights(
code,
target_model_config,
)
score = validate(
weights,
visible_validation_split,
)
history.append({
"round_id": round_id,
"code": code,
"validation_score": score,
})
if stop_rule(score, round_id):
break
code = revise(
code,
history,
visible_feedback=score,
)
final_weights = materialize_weights(code, target_model_config)
freeze(final_weights)
这是一份根据报道抽象出的机制示意,不是原研究代码。generate_code、materialize_weights、validate 和 revise 的具体签名仍需原论文或代码仓库确认;可以明确的是,validate 每轮只返回单个验证分数,隐藏测试结果不进入这个反馈闭环。
以一个按数值键排序的任务为例,Claude 可以先把比较与交换逻辑写成 Python,再由代码实例化目标网络的权重;验证器对可见样例返回正确率,若结果不理想,Claude 再修改实现,隐藏样例则不用于提示或迭代反馈。这个例子只是说明机制,并不是报道披露的 13 类任务之一。它也揭示了这项方法与常规训练的关键差别:被搜索的是程序结构,而不是由梯度连续调整后的参数。
因此,“免训练”更准确地说是“免梯度训练”,而不是“免优化”。搜索仍然存在,只是搜索空间从权重矩阵转向了代码与计算逻辑。Claude 的先验知识来自其既有训练,iWSP 并没有让源模型凭空获得知识,也没有在这套实验中通过梯度更新 Claude 的基础权重。
研究团队所说的“透明”Transformer,主要指生成代码和最终权重都可以完整阅读,其每个部分都来自模型有意识写下的程序。 这是一种构造过程透明性:人们可以检查模型为什么选择某段代码、某项特征和某组参数。但它仍不能自动证明每个神经元在所有输入上的功能都已被完整解释,也不等同于严格意义上的机制性可解释性。换句话说,代码可读是重要进展,却不应被扩大为“神经网络内部已经不存在黑箱”。
13 类任务的 100% 应该怎样解读
下表列出所给材料能够确认的结果,最后一列标明证据缺口;原报道未提供的信息不作补齐。
| 观察项 | 报道给出的汇总结果 | 所给材料中的逐项明细 |
|---|---|---|
| 任务范围 | 13 类复杂算法任务 | 未列出任务名称与领域分布 |
| 独立运行 | 26 次独立运行 | 未给出任务与运行次数的对应关系、随机种子分布 |
| 最终成绩 | 隐藏测试集准确率全部为 100% | 未给出逐任务、逐运行成绩 |
| 迭代反馈 | 每轮只向 Claude 提供一个验证分数 | 未公开验证集规模、评分函数与样例 |
| 权重生成 | 不使用反向传播和梯度下降 | 未提供逐轮生成代码与完整权重轨迹 |
| 隐藏集使用 | 隐藏测试集用于报告最终结果 | 未说明隔离机制、访问日志与切分哈希 |
| 失败情况 | 汇总结果未报告错误 | 未提供失败样本、异常日志或重试记录 |
“100%”是汇总结果,实验机制则包括三个要素:模型依据任务描述生成程序,程序实例化目标网络,验证分数再驱动下一轮修改。 单一标量反馈的信息量非常低,系统主要依赖 Claude 对算法结构的先验知识,以及已经验证正确的模块能否被保留下来。
参数量对比给出了另一条重要线索:
| 负责生成网络的模型 | 目标网络参数量中位数 |
|---|---|
| Claude Haiku 5.5 | 100,000 |
| Claude Sonnet 5.5 | 41,600 |
| Claude Opus 5.5 | 166 |
表中数据均来自所给报道。
合理读法是:在这项实验的 Anthropic 模型系列中,更强的生成模型倾向于写出更紧凑的目标网络。它与“代码生成质量更高、方案更直接、架构选择更合适”之间可能存在联系,但不能仅凭这三个中位数断言“模型越强,网络必然越小”。这组汇总结果没有单独隔离模型能力、迭代预算、停止条件、代码模板和架构选择等因素,严格的因果结论仍需要消融实验。
同样,166 个参数只是目标网络的规模指标,不等于生成程序本身只有 166 个可读元素,也不直接说明代码执行成本、训练外部知识量或任务泛化能力。参数少而结果准确,可能意味着算法被压缩得更加紧凑,也可能意味着任务结构允许直接编码。两种解释需要通过代码、架构配置和隐藏集表现共同判断。
至于“13 类任务、26 次运行全部 100%”,统计上最稳妥的表述是:在该协议覆盖的运行中,没有观察到错误。它不等于错误率必然为零,也不能证明在更多随机种子、题目变体、输入分布或现实环境中仍会保持满分。隐藏测试集如果确实与迭代过程隔离,这会构成较强的证据;如果隐藏样例曾进入提示、验证器或人工调试环节,100% 则可能只是泄漏后的结果。现有材料没有给出足以审计这一点的切分文件与访问记录。
Claude Opus 5.5 的发布材料还给出了另一组指标:官方 9 项对比测试中有 7 项领先,三项智能体编程测试均取得对比模型中的最高成绩,同时典型工作负载成本较 Opus 5 低 40%,输出速度提升超过 30%;但在业务流程和科研 Agent 测试中,它仍落后于 GPT-6 Astra。 这些指标评估的是 Claude 本身执行编程、知识工作和 Agent 任务的表现,iWSP 的 13 类任务评估的则是 Claude 所生成的小型目标网络。 两套结果可以同时成立,但不能互相替代:发布评测不能证明 iWSP 已经工作,算法任务满分也不能证明 Opus 5.5 的通用编程、成本和速度表现。
判断证据强弱,需要检查逐任务成绩、失败样本、验证集与隐藏集的隔离方式、完整生成轨迹,以及每个结果对应的模型和运行配置。只有汇总百分比而没有这些材料,读者看到的是一个醒目的结果,还看不到一条可以审计的证据链。
复现 iWSP 的三个证据层级
三个层级的结论强度并不相同:
- 概念复现: 验证一个 LLM 能否依据任务描述和验证分数生成可用代码与权重,并完成“生成—验证—修改”循环。这能检验机制是否可行,但不能声称还原原实验。
- 逐项复现: 尽可能还原原实验的任务、提示、模型配置、迭代轨迹、网络配置和评测结果,并检查每个任务与每次运行是否一致。这才接近“复现原论文结果”。
- 独立验证: 在公开任务或新任务上实现同一闭环,检验结论是否仍然成立。它可以检验外部有效性,但不等同于原样复现。
要把第二种层级做实,至少需要准备以下材料:
- 任务与数据: 13 类任务的完整定义、输入输出规范、可见验证集、隐藏测试集、样例生成器与固定随机种子。
- 完整提示: 系统提示、用户提示、初始代码、允许调用的已有模块、停止规则及每轮反馈模板。
- 源模型配置: 模型 ID、快照或服务版本、调用日期、采样参数、推理强度、最大输出长度、迭代次数和重试策略。接口支持随机种子时应固定;不支持时必须记录这一事实。
- 逐轮轨迹: 每轮原始响应、生成代码、代码差异、验证分数、标准输出、标准错误、异常和重试记录。
- 权重与网络配置: 权重实例化代码、层数与维度、参数顺序、数据类型、序列化格式、文件哈希和加载方法。
- 评测文件: 验证函数、精确匹配或容差规则、隐藏测试生成脚本、最终报告脚本与原始输出。
- 环境信息: Python 版本、依赖锁定文件、操作系统、硬件、推理后端和超时设置。
当前所给材料没有说明这些资产是否公开,也没有提供足以重建实验的代码仓库、完整提示词或权重文件。 这些缺项会影响复现结论:只要缺少其中一项,最终结果就可能依赖未记录的模型版本、采样随机性、验证器实现或隐藏集隔离方式。
一个适合审计的工程目录可以保持简单:
byte-prism-iwsp/
├── tasks/
├── prompts/
├── runs/
├── weights/
├── evaluation/
├── environment.lock
└── manifest.json
其中,tasks/ 保存任务定义与数据切分,prompts/ 保存提示模板,runs/ 保存每轮代码、分数和日志,weights/ 保存网络配置与最终参数,evaluation/ 保存验证和隐藏测试脚本。环境可以从以下命令开始记录:
mkdir -p tasks prompts runs weights evaluation
python -m pip freeze > environment.lock
pip freeze 只能覆盖 Python 依赖,系统库、CUDA、驱动和硬件信息仍需单独记录。运行清单最好从创建时就落盘,而不是实验结束后补写:
{
"run_id": "run-001",
"task_id": "sort-v1",
"task_sha256": "<task-file-sha256>",
"model_id": "<model-id>",
"model_snapshot": "<provider-snapshot-or-null>",
"prompt_sha256": "<prompt-file-sha256>",
"sampling": {
"temperature": 0,
"top_p": 1,
"seed": null
},
"max_rounds": 20,
"visible_split_sha256": "<visible-split-sha256>",
"hidden_split_sha256": "<hidden-split-sha256>",
"target_model_config": "weights/run-001/model_config.json",
"weight_sha256": "<weight-file-sha256>",
"environment_lock": "environment.lock"
}
如果接口不支持确定性种子,seed 应如实保留为 null,并通过多次独立运行报告方差,不能用“温度为零”等同于完全可复现。
工程复现的常见问题通常出在某个没有被固定的环节。
| 失败场景 | 常见表现 | 核验与控制方式 |
|---|---|---|
| 模型版本漂移 | 相同提示生成不同代码,任务成绩随日期变化 | 固定模型快照或 API 版本,记录调用日期并保存原始响应 |
| 随机采样 | 每次迭代轨迹不同,最终网络大小和代码差异很大 | 固定可用参数;不支持种子时增加独立运行次数并报告分布 |
| 验证集过拟合 | 代码只针对可见样例硬编码,验证分升高但隐藏集失败 | 使用新生成的验证样例,限制查表与异常大的硬编码 |
| 隐藏集泄漏 | 隐藏样例进入提示、调试记录或人工筛选 | 将隐藏集放在生成循环之外,冻结权重后才开放读取权限 |
| 指标与隐藏结果背离 | 标量分数持续提高,最终泛化却没有改善 | 固定最终评测器,分别记录验证曲线与隐藏集结果 |
| 代码执行失败 | 语法错误、依赖缺失、超时或运行时异常导致本轮无分数 | 使用隔离执行环境,保存 stderr、超时和重试原因 |
| 依赖版本变化 | 浮点排序、容差判断或库函数行为发生变化 | 锁定完整环境与硬件信息,预先定义数值容差 |
| 权重序列化不同 | 参数形状、顺序或精度不同,加载后结果不一致 | 同时记录配置、形状、数据类型、顺序和文件哈希 |
| 评测脚本不一致 | 不同运行使用不同 checker,最终百分比无法比较 | 固定数据、checker、报告脚本及其版本 |
尤其需要防范的是隐藏集泄漏和验证集过拟合。生成程序可以访问任务描述、已有模块和当前验证分数;如果实验者也在每轮后查看隐藏集失败样例,再把信息反馈给 Claude,那么“每轮只有一个分数”的表面约束就已经被破坏。 因此,隐藏集不仅要换文件,还必须在权限和流程上与生成过程隔离。
可以先做一项小型验证,无须等待 13 类原始任务全部公开。先选择答案确定、可自动判分的排序、解析或简单算法任务,把可见样例与隐藏样例分开,再固定模型、提示、采样设置和迭代上限。每轮保存生成代码、验证分数与差异,达到停止条件后冻结权重,最后只运行一次隐藏评测。
为了判断收益究竟来自闭环还是来自 Claude 的一次性输出,还可以增加两个对照:只生成一次代码、不允许修订的基线,以及由人工直接实现同一任务的基线。最终报告中应列出目标网络的准确率、参数中位数、代码有效率、迭代轮数、验证与隐藏集差距,以及不同随机运行下的波动。这样得到的是一项可审计的独立概念验证,而不是对“100%”的机械复述。
如果无法取得原始任务、完整提示词、逐轮代码、权重、运行配置和评测文件,结论应表述为“与报道机制一致”或“完成独立概念验证”,而不是“已复现 13 类任务 100%”。更稳妥的复现顺序是先搭建带确定性答案的小型 iWSP 原型,同时向原研究团队索取上述资产;能拿到哪一层材料,结论才能提升到哪一层证据。
[email protected]
。
我们承诺在核实信息后,将第一时间删除相关内容或断开链接。
























暂无评论内容