资料与 AI 接手

# RL 研究接手包

发布版本：v2-eb1a844c9b153986

记录时间：2026-11-05T02:35:19+08:00

证据观察时间：2026-11-05T02:25:51+08:00

固定版本资料目录：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/context/index.json

固定版本结构状态：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/context/state.json

## 目标与当前方向

检验局部反事实反馈的分配是否改善代理学习

Counterfactual Edit Credit for Long-Horizon Software Agents

## 可靠结论与状态

11-05重新核对：旧O42-retry1账本仍停在34/80次完成调用；step30 HF结构存在且通过检查，但未有新恢复release。两机GPU有活动、父容器运行，不等于这条RL已恢复。方法和开发pilot的既有证据保留，主要M−B策略效果仍未测量。[RESUME_1105](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RESUME_1105/)[R1](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R1/)[R4](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R4/)

320 条开发轨迹中，244 次删除查询可用，92 次有非零差异。[R1](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R1/)

## 有效约束

- 原始结果、失败和unknown保留，不将缺判分当0。

- 开始计算任务前核对当前进程、资源与准入收据。

- 来源变动后核对受影响主张，网页不替代原始证据。

- 主要终点80、固定种子/任务/评测协议，不按在线reward选择终点。

- gpu23外部任务不得停止；资源是否空闲必须现场确认。

## 开始前必须现场核对

- 当前可分配GPU、使用窗口与唯一训练调度负责人；11-05快照不是未来占用授权。

- 新恢复release须重新绑定checkpoint、终止证据和两机preflight。

- 正式评测准入和unknown规则仍需闭环；不读取封存标签来补齐接手状态。

## 已知问题

- RL-I001 [阻塞] 恢复训练的证据闭环：11-05旧账本仍34次完成；step30 HF结构通过，父容器运行但gpu08未见匹配RL入口，GPU活动尚未归属。新ownership、恢复审定和release仍缺。[RESUME_1105](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RESUME_1105/)[RECOVERY_ARTIFACT](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RECOVERY_ARTIFACT/)；下一步：确认当前资源与唯一调度负责人；按冻结协议审定外部终止后的恢复计划和精确checkpoint，绑定新preflight/release后才执行。；完成标准：恢复release明确且数值/参数检查通过，run可追溯；不得以容器启动状态替代。；详情：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/issues/RL-I001/

- RL-I002 [待处理] 逐槽位评测准入与unknown：1000控制中仍有113未决、20部分观测零及5预期差异。[R5](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R5/)；下一步：接入已完成归因与观测规则，保持原始attempt，不事后追认方便的分数。；完成标准：正式评测manifest绑定环境、名单、模型与unknown规则，并有独立准入审查。；详情：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/issues/RL-I002/

- RL-I003 [待处理] 局部分配是否产生真实增益：非零信号已经观察到，M−B等策略效果仍未测量。[R1](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R1/)；下一步：在前两项关闭后完成登记的O/B/M/E、种子和同栈评测。；完成标准：主比较真实可复算，并报告无效/缺判分率与成本；无收益时保留负结论。；详情：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/issues/RL-I003/

- RL-I004 [待处理] 从协议稿转成效果稿：submission_ready=false、effectiveness pending。[R6](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R6/)[R8](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R8/)；下一步：真实效果判定后重写主结果、摘要和结论，重做最终论断/引用与改稿检查。；完成标准：最终版本的每个效果与费用主张有证据，验收报告与PDF哈希绑定。；详情：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/issues/RL-I004/

- RL-I005 [阻塞] 旧B80首步判分污染与熵归因：首步前B有203条地址池耗尽未判分；mask路径不能解释熵差，raw batch证据未保存。[B_PREFLIGHT](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/B_PREFLIGHT/)[ENTROPY_AUDIT](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/ENTROPY_AUDIT/)[RAW_GAP](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RAW_GAP/)；下一步：按清洁网络池与首步批次采集计划预检，未放行前不启动。；完成标准：受控B首次消费批次收据、完整80步及同栈终评，而非旧reward比较。；详情：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/issues/RL-I005/

## 不重复的历史尝试

- 旧污染与无效训练：原日志和存点归档，不能拿旧在线reward填新的方法效果。[R7](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R7/)

- 评分适配器恢复：修复后需完整判分证据；缺反馈可能减少模型安装失败的负反馈，按臂报告。[R3](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R3/)

- O42-retry1：恢复需绑定准确checkpoint与终止证据，容器重启不等于研究run恢复。[R4](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R4/)[R7](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R7/)

- 共同环境覆盖：保留unknown与环境差异，完成覆盖只是准入工作的输入。[R5](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/R5/)

- 不把GPU繁忙或容器运行当作O恢复：保持恢复阻塞；不启停任务，不应用已存在的旧补丁。[RESUME_1105](https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RESUME_1105/)

- 工作台观察时间校验跟随源记录：改为全项目导出/源记录时间一致性检查，并增加历史事件不变回归。

## 优先任务

- RL-T001 [阻塞] 先关闭恢复与准入缺口：已有11-05只读核对；先确认当前资源归属和调度责任，再审定终止后恢复的精确checkpoint与新release。不得仅凭父容器running重启。；完成标准：产出恢复和评测manifest；不满足就停在核查，不能进入主比较。

- RL-T002 [待处理] 完成登记的对照与终评：依赖前一步，按同预算和同栈完成B/M及O/E计划，保持holdout规则。；完成标准：产出每臂每种子效果、失败比例、成本；M−B无收益则不宣称方法有效。

- RL-T003 [待处理] 按结果重写并验收：用真实比较决定保留哪些贡献，再更新全文、图表、引用与最终PDF。；完成标准：成立则写效果稿；不成立则保留结果并调整方向，不能用pilot替代。

## 已知状态冲突

- 旧交接正文仍写“19/80活跃”，与后续终止和恢复门冲突：按时间与运行收据解释；旧文字保留为历史，不作为10-04现场状态。

## 来源变化

- 本次公开来源与已核对SHA一致。

## 必读资料

- HANDOFF 跨日交接（含混合日期）：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/HANDOFF/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/HANDOFF/source.md

- EVAL_PROTOCOL 固定评测协议：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/EVAL_PROTOCOL/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/EVAL_PROTOCOL/source.md

- RECOVERY_PROTOCOL 训练恢复协议：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RECOVERY_PROTOCOL/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RECOVERY_PROTOCOL/source.md

- CONFIG_AUDIT O/B/M入口配置核对：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/CONFIG_AUDIT/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/CONFIG_AUDIT/source.json

- ENTROPY_AUDIT B低熵与response mask核对：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/ENTROPY_AUDIT/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/ENTROPY_AUDIT/source.json

- B_PREFLIGHT B首更新前判分缺失审计：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/B_PREFLIGHT/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/B_PREFLIGHT/source.json

- RECOVERY_ARTIFACT 终止后step30恢复材料：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RECOVERY_ARTIFACT/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RECOVERY_ARTIFACT/source.json

- B_PLAN B受控重跑预检计划（未放行）：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/B_PLAN/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/B_PLAN/source.json

- RAW_GAP 首步raw batch证据缺口：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RAW_GAP/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RAW_GAP/source.json

- RESUME_1105 11-05只读接手与恢复材料复核：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RESUME_1105/；原文：https://sotalabs.cn/papers/_releases/v2-eb1a844c9b153986/rl/library/RESUME_1105/source.json

## 资料边界

- 封存测试与任务级标签：未公开；在原环境按冻结协议与授权访问；发布流程不读取。

- 模型权重与完整轨迹：体量过大，未发布；通过原项目文件清单、run身份及授权环境获取。

- 账号凭据：不公开；使用已有连接或原环境授权，不写入接手文本。

## 工作结束同步

重要决定当时记录；工作收尾运行 sync.py --record <事件JSON>，再运行 build_workspaces.py，验证并发布。

日报、问题、实验与稿件共享同一份records；不得单独维护第二份当前状态。

接手包用于恢复上下文，不授予超出当前用户指令或原项目协议的执行权限。