语言模型能够重写自身权重

发布时间 2026-11-21
来源 Hacker首页帖子
字数 2,152 字
查看原文 反馈

智能总结

arXiv 论文提出「自改写」(self-rewriting):语言模型无需梯度、无需训练,靠自身推理重写自己的权重。一个开放的 27B 模型在获得自身权重、带评分的作答结果和运行自身的能力后,能诊断失败并改写权重,在从未见过的问题上准确率提升 6.6 个百分点,连续八个会话中准确率只升不降。

计算机科学 > 人工智能

arXiv:2611.21885(cs 分类) [2026 年 11 月 16 日提交(v1),2026 年 11 月 18 日最后修订(本版本为 v2)]

标题:语言模型能够重写自身权重

作者:Jiajun Fan、Neil He、Changyi Yang、Andy Mao、Xi Zhu、Chaoran Cheng、Kaiqu Liang、Shuaike Shen、Zetian Li、Ruihan Guo、Ge Liu

查看题为《语言模型能够重写自身权重》的论文 PDF,作者为 Jiajun Fan 及另外 10 位作者:查看 PDF HTML(实验性)

摘要:语言模型一次训练完成后便会被冻结。要让它变得更好,需要再进行一轮训练,或者借助提示词、运行框架(harness),或者依赖推理阶段额外的计算——这些手段在任务结束后便不复存在。我们展示了第三种方式:据我们所知,这是首次让语言模型通过自身推理重写自己的权重并变得更好,全程无需梯度、无需训练。我们称之为自改写(self-rewriting):模型本身就是自己的优化器。在早先的工作中,一个前沿模型编辑的是一个比它小得多的模型;而在这里,一个开放的 27B 模型在获得自身权重、带评分的作答结果以及运行自身的能力后,能够诊断自己的失败,并重写背后的权重。它超越了自己:它自己的编辑让它在从未见过的问题上准确率提升了 6.6 个百分点。它还在不断变好:它在练习题上测试自己的编辑,只提交有效的部分,每一次编辑都在上一次的基础上改进,在连续八个会话中其准确率只升不降。它能修复自己受损的副本,就像一台损坏的机器人无需重建即可自行修复:该副本几乎解不出任何问题,但在不重新训练、也从不读取原始权重的情况下,该模型将其在从未见过的图像任务上的准确率恢复到原模型的 80% 以上。而且这种能力随规模涌现:在同一个模型家族中,较小的模型要么做不出编辑,要么把自己弄坏,只有最大的模型能改进并修复自己。与测试时扩展(test-time scaling)不同,自改写把收益写入权重,每个答案都没有额外成本;与训练不同,它只运行前向传播,就像推理服务那样。训练与推理之间的墙是我们工具的限制,而不是智能本身的属性。我们相信,自改写是迈向递归自我改进的必要一步:一个像人类那样不把训练与推理分开的模型,可以终身自我升级,无需更大的模型、无需运行框架或提示词工程,也无需预训练或后训练。

主题: 人工智能(cs.AI)
引用格式: arXiv:2611.21885 [cs.AI]
(或本版本使用 arXiv:2611.21885v2 [cs.AI])
https://doi.org/10.48550/arXiv.2611.21885 聚焦了解更多由 DataCite 签发的 arXiv DOI

提交历史

来自:Jiajun Fan [查看邮箱]

[v1] 2026 年 11 月 16 日星期一 20:55:08 UTC(6,363 KB)

[v2] 2026 年 11 月 18 日星期三 08:57:59 UTC(6,379 KB)

全文链接:

访问论文:

查看许可

附加功能

当前浏览上下文:

cs.AI < 上一篇 | 下一篇 >

最新 | 近期 | 2026-11 切换浏览分类:cs

参考文献与引用

导出 BibTeX 引用 加载中……

BibTeX 格式引用

× 加载中…… 数据提供方:

书签

文献工具

文献与引用工具

文献浏览器开关 文献浏览器 (什么是文献浏览器?) Connected Papers 开关 Connected Papers (什么是 Connected Papers?) Litmaps 开关 Litmaps (什么是 Litmaps?) scite.ai 开关 scite 智能引用 (什么是智能引用?) 代码、数据与媒体

与本文相关的代码、数据与媒体

alphaXiv 开关 alphaXiv (什么是 alphaXiv?) 代码链接开关 CatalyzeX 论文代码查找器 (什么是 CatalyzeX?) DagsHub 开关 DagsHub (什么是 DagsHub?) GotitPub 开关 Gotit.pub (什么是 GotitPub?) Huggingface 开关 Hugging Face (什么是 Huggingface?) ScienceCast 开关 ScienceCast (什么是 ScienceCast?) 演示

演示

Replicate 开关 Replicate (什么是 Replicate?) Spaces 开关 Hugging Face Spaces (什么是 Spaces?) Spaces 开关 TXYZ.AI (什么是 TXYZ.AI?) 相关论文

推荐与搜索工具

影响力之花链接 Influence Flower (什么是影响力之花?) CORE 推荐器开关 CORE 推荐器 (什么是 CORE?) 关于 arXivLabs

arXivLabs:与社区协作者共同开展的实验性项目

arXivLabs 是一个允许协作者在我们的网站上直接开发和分享新的 arXiv 功能的框架。

与 arXivLabs 合作的个人与组织都认同并接受了我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观,并且只与同样遵守这些价值观的伙伴合作。

你对能够为 arXiv 社区增值的项目有想法吗?进一步了解 arXivLabs。

本文哪些作者是背书人? | [禁用 MathJax](https://arxiv.org/abs/javascript:setMathjaxCookie())([什么是 MathJax?](https://info.arxiv.org/help/mathjax.html))