RSI / 自进化重点
1. Anthropic GRAFT：隔离reward-hacking学习更新
- 进展： 10月19日提出将检测到的作弊学习更新限制在独立参数中，训练后移除；目前实验限于小模型和简单监控器。
- 类型： Training / Safety。
- 新意： 不只惩罚监控发现的作弊，而是试图局部化作弊学习，减少模型为了绕过监控而学会更隐蔽作弊。
- RSI启发： 每轮保留Bad Case，建立奖励投机测试集；若分数上升但评估器被绕过，直接判失败。
2. OpenAI前沿训练环境隔离与红队
- 进展： 10月23日更新训练环境安全措施，强调离线环境、隔离与高算力红队测试。
- 类型： Harness / Safety / Model R&D。
- 新意： 将安全扩展到训练和评估基础设施的权限、网络与执行边界。
- RSI启发： 实验使用最小权限、隔离工作区、只读数据快照和受限网络；优化Agent不能修改自己的评估器、日志或告警配置。
3. RRSI：用正则化减少Harness在训练任务上过拟合
- 进展： Google Research的RRSI于9月21日发布，指出只对固定训练任务优化Harness会过拟合。
- 类型： Harness / Recursive RSI。
- 新意： 限制每个候选修改复杂度、记录被证伪假设，并将停滞搜索转向未充分探索的组件。
- RSI启发： 固定模型和预算，分开报告训练任务、OOD任务与回归集；报告任务内收益和泛化变化，不能只报最佳分数。
RSI 今日结论
最值得深入的是GRAFT与RRSI的组合：前者约束奖励投机，后者约束Harness过拟合。对现有RSI系统，优先构建可审计的“评测→Bad Case→诊断→单变量优化→独立验证→回滚”闭环，比增加自动迭代轮数更重要。