# 后继 O/B/M/E 终评口径（v1，结果揭盲前固定）

2026-09-27。本文件固定估计对象、计划槽位和取用规则，不表示模型已训完或评测入口已就绪。当前只有 O42 在训练，没有本轮终评成绩。旧的身份不绑定续跑器不用于本协议。

## 主比较与报告总体

- **确认性主比较**：固定第 80 步的 M−B，在原先保留的 holdout100 上，每题独立采样 16 条。O/B/M 各训练种子 42、314159、271828，三对种子等权平均。不得按分数选择种子、80/81 或中间存点。
- **次比较**：同一 holdout100 的 M−O；E 只有预分配的 seed42，因此 M42−E42 是单训练种子对照，不能给它三个种子的误差条。base 没有训练种子。
- **广覆盖补充**：所有计划模型在官方 500 题各采样两条，单条均值。分别报告实际训练 149、后继 RL 训练外 351、指定 holdout100、其余原 250，以及原训练 150 和被隔离的 Django7530。500 总体是混合训练/非训练题的指标，351 也不表示预训练未见。
- 500×2 和 holdout100×16 是两个独立评测队列。主结果只取后一个队列的 16 条，不挑取前一个队列的好轨迹，不在看到结果后拼成 n=18。任务/模型/队列/rep 的逻辑身份见 `results/evaluation_slots_20260927.json`。
- n 是每题 rollout 数，分数为每题的 n 条均值再对任务等权平均；不是 pass@k。所有主表保留每个训练种子的分行成绩和 M−B/M−O 差值。

## 不确定性与判读

确认性点估计为三个配对训练种子差值的均值。附录预定使用固定随机种子 20260927、10,000 次两维配对 bootstrap：每次对三个训练种子有放回抽样，并独立对 100 个任务有放回抽样；同一次抽样的种子、任务索引同时用于 M/B/O，保留各单元内全部 16 个预定 rollout。报告 2.5%/97.5% 分位数和逐种子差值。任务是成组抽样单位，不把同题 16 条当作 16 个独立任务。

仅三个训练种子的 bootstrap 不能提供可靠的大样本跨种子保证；区间作为近似敏感性描述，与逐种子一致性及效应大小一起解释，不靠单一显著性结论。E42 只做任务配对重采样，范围限该训练种子。补充 500×2 分区使用相同计算规则并标为次要/探索性，不在多个分区中挑最好的作为主结论。不预设“必须成功”的效应阈值，也不以写作调整改变比较方向。

## 每个逻辑槽位与缺失结果

1. 启动前将模型权重/配置/tokenizer/服务配置摘要、任务 profile/评分名单摘要、runner 源码摘要绑定到一个不可覆盖的执行 manifest。API 上的模型名字不足以证明权重身份。缺失绑定拒绝执行；已有目录绑定不同身份拒绝续跑。
2. 每个槽位只接受一个首次完成的有效原始报告。报告必须匹配任务身份、固定 expected tests 和奖励；正负结果都终止该槽位。禁止按 mtime、最好分或是否成功选取重复 attempt。
3. 一次 agent 生成已经形成补丁后，验证器的明确基础设施失败最多允许一次**同补丁、同任务 profile、同标签**重新判分。两次原始报告、补丁摘要和故障证据均保存；首次有效报告定稿，合法失败不能再试。
4. 在产出完整轨迹前发生明确 API/宿主/容器基础设施故障，最多允许一次生成替补，保留原 attempt 及替补关系。同一逻辑槽位沿用采样种子；不能承诺异步服务逐 token 重现。预算/上下文耗尽、模型格式错误、模型破坏安装环境不因成绩差而重采样。
5. 模型导致的终止若仍有合法最终报告，使用真实报告（包括成功）；没有可判最终产物的明确模型失败计 0。`RewardFileNotFoundError`、`VerifierTimeoutError` 或 `EnvironmentDead` 单独不足以判断归因。不能确定归因时标为 unresolved，并附原始证据，在不参考臂间分数的审阅后处理。
6. 达到重试上限仍 unresolved 的槽位保留于计划分母，**不冒充已测 0，也不删除**。若完成 N 个计划槽位中的 K 个、已观察到 S 次成功，绝对分数仅报告界限 `[S/N, (S+N−K)/N]`。两臂差值按 M 的下界减 B 的上界、M 的上界减 B 的下界报告。存在 unresolved 时不产出“完整主比较”的点估计/显著性结论；部分结果和覆盖率仍公开。
7. 基础设施故障认定、重试原因和取用报告引用保存在只追加的 attempt ledger。评分文件保持原样；任何人工归因修订有新记录而不覆盖旧记录。

## 共同执行条件与尚未完成的绑定

共同解码温度 1、top_p=1、top_k=-1、min_p=0，98,304 上下文，预算提醒 0.35，超时 ×2；使用清 Git 历史、agent 断网、固定 SCM 版本的共同环境。评分标签及官方 500 题成员不修改；训练侧隔离 Django7530 不缩减最终评测分母。所有模型的每题 CPU/线程修正一致。

每个 rollout 的采样种子由固定命名空间、队列、task_id、rep 确定，跨模型相同索引；它用于可追踪性，不能声称使不同策略生成的随机事件完全相同。队列顺序和 host 分片使用公开确定规则，不能按预测难度或初步成绩调换。

以下是执行前待完成项，不由本文件虚构完成：官方 500 题共同 SCM profile 与镜像可用性；严格 attempt runner；导出锚点和权重摘要；基座/候选特殊参数精度的开发侧对照及共同处理；runner 的真实服务小规模冒烟。尚无 checkpoint 80 时，逻辑 manifest 的 `execution_ready` 必须为 false。精度方案在查看 holdout 结果前冻结，不通过弱化基座制造提升。

成本按实际分配 GPU 小时、生成 token、原判/CF 次数、服务时间、队列等待报告，包含失败 attempt 和未消耗预取轨迹。先完成全部模型的设计与开发侧决定，再读确认性留出成绩；若资源约束改变训练种子数，在揭盲前另建版本并收窄主张，保留本版。