AI前沿 | 2026年9月17日：Dream-RSI 递归自我改进 + Gemini 智能体做梦探索 + 历史即世界回放模拟器
📖首屏导读 · 本教程配套付费专栏：《大模型工程师修炼手记》
19.9 元（AI 编程 · Agent 实战 · 本文同主题系统课程）·《AI时代程序员的自我提升》49.9 元（AI 时代成长方法论）单篇不过瘾？订阅解锁全量源码、实战与答疑；文末附资料包领取方式 ↓
📊本期导读：9 月 13 日，Google 联合 Google DeepMind、马里兰大学、弗吉尼亚大学挂出论文《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》（arXiv:2609.14858，新智元 9/17 报道）。它给出了一条完全不同的递归自我改进路线：不追求"AI 自动改自己权重"，而是让智能体把已走过的探索历史存成一棵树，在树里"做梦"——零执行成本地试出更优的探索策略，再回到现实继续干。算法优化任务上，主流进化搜索跑51200 代、Dream-RSI 用317 次调用就到同等水平；GPU 内核优化生成次数暴降2.43 倍；圆填充追平自家 AlphaEvolveV2。首个作者是她——马里兰大学二年级博士生 Tong Zheng，今年夏天以学生研究员身份进入谷歌。本文拆六件：为什么 RSI 从"改权重"转向"改 Harness"、三步闭环怎么跑、效率数字怎么读、开发者的落地清单、边界与质疑、给团队的启示。
一、事件：谷歌把"递归自我改进"的抓手，从权重挪到了 Harness
过去十年，行业提起 RSI（递归自我改进），默认画面是"AI 自动修改自己的权重，训出下一代更聪明的神明"。Dream-RSI 论文给了一个完全不同、而且更工程化的答案：模型权重一字不改，改的是模型外面的『探索编排层』（论文里叫 lightweight orchestration layer）——一个很轻的控制器，决定编码 Agent 下一步往哪搜、几路并行、何时收手。
这个编排层本身就是一段可执行的策略代码。Dream-RSI 的自我改进，就是反复重写这段策略代码：老的策略上线跑，把结果存下来；新策略先在"历史模拟器"里梦一遍，赢了才准上线。谷歌产品负责人 Logan Kilpatrick 早前放风"Gemini 4 将是迄今最大、最野心勃勃的预训练模型"，并称已看到 RSI 早期迹象——Dream-RSI 正是这类信号里最硬的一份实证。
二、机制：历史即世界，梦 = 零成本的策略回放
论文的核心直觉一句话："To recursively self-improve, agents need to dream. History is the world they dream in."（要递归自我改进，智能体必须学会做梦；历史就是它们做梦的世界。）三步闭环如下：
| 阶段 | 干什么 | 成本 |
|---|---|---|
| O1 在线探索 | 当前策略驱动固定编码 Agent 扩张"发现树"，记录每次尝试与执行结果 | 贵的（真实算力） |
| O2 构建回放器 | 已跑完的发现树转成"回放模拟器池"——历史是精确的，不是近似（因为它就是到达过的搜索空间本身） | 几乎为零 |
| O3 梦里改进 | 策略开发 Agent 梦出海量候选策略，在模拟器里回放打分，只选赢家上线 | 零执行成本 |
| 再部署 | 赢家上线跑出新的发现树，模拟器池扩张，循环往复 | 贵的（一轮） |
关键点在于"回放是免费的"：替代策略不用真的重跑，它只是在这棵记录树上换一种走法——换分支、换顺序、换并行度、换停止规则，而每一个节点的结果早就在磁盘上。论文里更给了一个"永远不会更差"的保证：当前已部署的策略本身就在候选集里，回放打分选出的赢家不可能低于现役版本。
三、效率数字：把"试错"从在线搬到离线，能省一个数量级
| 任务 | 对照组 | Dream-RSI | 提升 |
|---|---|---|---|
| 算法优化 | 主流进化搜索约 51200 代 | 317 次调用 | 约 1/162 开销（新智元口径） |
| GPU 内核优化 | 固定基线 | 同等性能生成次数 -2.43 倍 | 成本大幅下降 |
| 圆填充 | Google 自家 AlphaEvolveV2 | 追平其最强纪录 | 质量打平 |
| 发现 Agent 调用 | 固定探索策略 | 削减 1.7 倍（官网口径） | 每轮在线开销更低 |
| 迁移性 | Gemini 3.1 Pro / 3.7 Flash | 权重不动直接套用 | 模型无关 |
官网页面的实时演示还披露了更细的一组数字：内层循环里策略每改 0→3 版、每版都用整段历史做回放打分，最终把发现 Agent 调用削掉 1.7 倍；对 fixed exploration 是 1.7×，对 SimpleTES 基线最高到 162×。为什么省这么多？因为主导搜索成本的从来不是"思考"，而是"重跑"——把重跑换成"查表"，反馈就变成了零边际成本的资产。
四、工程落地：怎么在你的 Agent 栈里复刻"做梦"
Dream-RSI 不依赖任何特殊模型，普通推理模型就能跑。给做 Agent/搜索/研究型产品的团队一张落地清单：
# "Dream-RSI 式"历史回放四件套（经验版） 1. 记录成树：每次工具调用/子任务挂到父节点下，结果与观察一并落盘（不要只记对话文本） 2. 构建回放器：把树读成"策略可重放的模拟器"，替代策略只是换一种走法，不重跑 3. 离线梦境池：每次改策略代码后，先在历史树上回放打分，赢家才上线 4. 留版本基线：当前线上策略永远进候选集，保证下一版"不会更差"底层逻辑就一句：把你历史上花过钱的所有探索，都当成可重放、可变现的资产，而不是等着被丢弃的日志。
五、边界与质疑：梦不到没去过的地方
这篇论文最清醒的地方，也是它自我限制的地方：
- 模拟器只能覆盖"到过的世界"：一个新策略只能在历史真正到达过的搜索空间里被梦到——所以它必须是一个循环（loop），靠每一轮在线探索不断扩充世界池，而不是一锤子买卖；
- "人指路反而更差"：论文与 Demo 都显示把人类审查/提示加进策略后，成绩不升反降——监督信号的噪声可能在污染一个本来就在收敛的自迭代过程，这也让"人在环里"的价值被重新质疑；
- 还在科学发现内部打转：8 个任务集中在算法工程/数学优化/GPU 内核，"梦"还没有进入写作、编程交付、产品迭代这类更开放的领域，泛化性存疑。
六、给团队的三个问题
- 你的 Agent 有没有"历史回放器"？如果每次调参都靠全量重跑，或靠人肉读日志，Dream-RSI 的三步循环是你本周就能上手的低成本改造；
- 要不要真的做"自改进"？先分清两个层次：改权重（危险且贵）vs 改 Harness 策略代码（安全且便宜）——后者的门槛远低于你的想象，也更容易做可观测的回归验证；
- 是否跟进"梦"出来的策略？一旦"AI 自己产的策略优于人类给的提示"开始在你的领域复现，产品里"人机分工"的边界就要重新画线了。
💡启示：Dream-RSI 最大的价值不在很快兑现的 SOTA，而在于它把 RSI 从"炼丹玄学"拉回"可工程化的 Harness 优化"——你不需要新模型，只需要把历史变成会回放的世界，就能让 Agent 越用越聪明越便宜。对做 Agent 基建、搜索、研究型产品的团队，这可能是今年最值得抄的技术作业之一。
来源：arXiv 2609.14858（2026-09-13）/ dream-rsi.com 官网 Demo / Hugging Face Papers / 新智元（2026-09-17）。本文为 AI 辅助整理的行业事件分析，基准数据援引上述公开论文与报道，工程建议为作者独立观点，仅供参考。
📚 延伸阅读 · 我的付费专栏
觉得这篇文章对你有帮助？我把同类主题的系统化内容沉淀成了付费专栏，欢迎订阅支持持续输出：
| 专栏 | 定价 | 内容 |
|---|---|---|
| 大模型工程师修炼手记 | 19.9 元 | AI 编程 / Agent 深度实战 |
| AI时代程序员的自我提升 | 49.9 元 | AI 时代成长方法论 |
💡 一杯咖啡的价格，换来系统化的知识体系；你的订阅，是我持续创作的最大动力。
💬本文配套代码 / 资料包：欢迎在评论区留言「求代码」，我会私信发送完整资源！