P论文工作台最新版本 ↗
完整资料 / RECOVERY_PROTOCOL

训练恢复协议

paper-rl/TRAINING_RECOVERY_PROTOCOL_20260927.md

definition观察/版本:未指定;不以mtime推断3,321 bytes下载完整原文直接读取

2026-09-27:评分启动故障后的训练恢复约定

在正式模型终评之前修订。原 EVALUATION_PROTOCOL_20260927.md 的任务/种子/80步终点/比较/评测分母不变,原readiness和所有原始记录不改。

触发与旧run状态

原O42第40次调用已消费18条有reward0但无native report的轨迹;消费键在归档中均唯一。此前第5次也消费过1条同类记录,其保存外层测试日志显示目标4测试通过。采样版本37/38共36条缺报告零奖励,主要是评分器依赖下载失败。不能以累计约0.7%替代按批次检查,也不能把外层日志回放冒充原报告。

22:41以精确driver身份发出TERM,保留ckpt30/40和HF10/20/30/40;40次训练调用完成,第41次未记录完成。原O42仅保留为故障/诊断记录,不能作为本轮严格匹配主比较的O终点。不从这些检查点恢复主比较;修复后的O42从同一原始基座重新开始,仍固定80次调用。

统一的新训练口径

  1. 所有后继O/B/M/E共用同一149题、2384别名、dev39及原超参数/14卡布局。改变只限于评分启动可靠性和不可验证奖励的准入。
  2. 原生解析/评分仍为固定SWE-bench4.0.3源码闭包;保留官方标签和原生ERROR/XFAIL/缺测试语义。离线评分器先保存测试输出,报告/观测/完成记录齐全后才写奖励。
  3. 声称来自verifier的数值奖励必须有匹配的native report、观测、完成记录和来源。缺失/不一致作为未判分,沿用有限重试与现有屏蔽逻辑,不能凭stdout存在补0。
  4. 语义变化明确列出:移除旧“RewardFileNotFoundError且有stdout就判0”的推断。没有完整判分的项目安装/构建失败也不自动判为模型0,可能减少训练中的负反馈、改变重试/屏蔽率;各臂须报告这些比例和实际生成/verifier成本。正式评测中的无效模型产物/具名模型失败规则仍按原协议单独执行。
  5. 既有明确的模型上下文/格式规则保留。agent超时但有完整有效判分仍照判;超时且判分无效保持原不重采样、屏蔽行为。有效native0不能因其他I/O问题被重采样成更好的结局。
  6. 新run、新profile、新隔离runtime及新release分别留证据。旧O、原CPU队列、运行中batch13及原终评消费者不热改。不自动重启被外部停止的任务。

放行前必备

控制工具另有已观察到的运行时问题:训练venv没有os.pidfd_open;容器系统Python3.10具备pidfd API。后继的标准库inspect/signal控制操作使用系统Python,执行训练/Harbor仍用原venv。原监控/队列脚本不原地改写。

公开内容 SHA-256 307e44171b9ed260e3e24682ae0e5025fb58e4fa9714508572af99d9ead0e853

返回资料与接手