0907 日报（接手后,Claude 线）
更新时间:2026-09-07 22:30(Asia/Shanghai)。codex 线同日的日报在 0907状况解释.md,本文件只记接手(01:00)之后的事。 复盘与方案全文:0907接手方案.md;计划文件 ~/.claude/plans/skill-staged-lagoon.md。
结论先行
- 前 5 天六条 RL 臂零 uplift 的原因找到了,不是算法:harness 让 agent 的命令跑在镜像 base env(python3.11)而不是
conda testbed(仓库和 verifier 所在),97% 轨迹在 pip install、sklearn 74% 从 PyPI 装上游包"验证";加上每臂只有 88–172 条有梯度的轨迹、32/64 步截断把训练分布改成"32 步内交卷"、题池按 Claude Code 结局挑、用 8/16 题 probe(±25 分)判 uplift。
- harness 修好(v2 口径)后,基模型不训练就从 47.6% 到 52.3%(SBV500,n=2,1000 条,inst1 上同栈评;含 38% 撞 3000s 墙的轨迹,
墙钟 ×2 重跑后预计还会上修)。这就是 Mercor 说的"修 harness +6 分"那一层。
- v2 口径的 RL 臂
rl9b-sbvpool-v2b-…-090813:46 起、已 20 步、~4000 条轨迹,16 卡满载;判分覆盖 99.9%、格式错误率 11.6%→3.5%、
RewardFileNotFound 3 条;逐步 reward 不作学习证据,等 inst1 上的配对评测。
今天做了什么
| 时间 | 事 |
|---|---|
| 01:00–02:00 | 读完 5 天实验/博客/skill;停 codex 的 25 题 curriculum 臂;清 265 个残留沙箱(占了 223/256 个 docker network);题池按 9B mini-swe 自己的 1.1 万条判分历史重选 350 题;reward 加 format_error_reward=-0.5 |
| 01:52 | v1 臂起:基模型、16×n8、lr 1e-6、不截步、joint 摆位(12 引擎跨两机 + 4 卡 policy,两台都满);22 步、3595 条;同题第 2 遍 60.4% vs 第 1 遍 52.0%(99 题) |
| 06:30 | astropy 22 题判分器被 PyPI 新 setuptools(删 dep_util)炸成 RewardFileNotFound,test.sh 钉 setuptools<70 |
| 09:00–11:00 | 三路只读探查(文献/轨迹/定量)→ 发现 conda env bug 等 6 个 harness 问题 → v2 harness:BASH_ENV、爆上下文照判、RewardFileNotFound 判 0、 |
| 预算提醒 0.35 + ≤8% finalize、观测截断 3k、环境死亡检测、提示词禁 pip/禁改测试;奖励加 P2P 回归 −0.25;题池 pass_rate∈[0.1,0.9] 250 题×3 份 | |
| 11:52 | v2 臂起(staleness 1)→ 13:40 发现 staleness=1 让生成在训练期间停摆(单步 33 min,引擎空转)→ 13:46 以 staleness 3 重起 v2b |
| 12:00– | inst1 搭评测栈(vLLM 0.25.1 DP8 @8123 + /root/tito-eval + tito_eval_runner.py),13:10 起 base-v2 评测,21:50 跑完 |
| 22:10 | base-v2 里 380/1000 条撞 3000s agent 墙(inst1 推理比训练集群慢),超时条目按 ×2 重跑中;候选评测统一 ×2 |
数字
| 口径 | 结果 |
|---|---|
| base-v1(codex,98k,SkyRL 路径,n=1) | 238/500 = 47.6%,20% 未判分 |
| base-v2(inst1,98k,n=2,timeout ×1) | 523/1000 = 52.3%(judged 996;380 条 AgentTimeout 里仍有 90 条判过);rep0 264 / rep1 259;≥1 次解出 305 题、两次都解出 218 题 |
| base-v2 timeout ×2 重跑 | 进行中(380 条,约 3h) |
明天
- 训练到 09-08 ~10:00,期间 inst1 依次评 v2b step 20、中段、最终导出(每轮 ~7–8h,n=2,timeout ×2);
paired_eval_stats.py 出配对差 + bootstrap CI,≥ +4 分且 CI 下界 > 0 才声明 uplift。
- 三个数并列报:base-v1 47.6%、base-v2(×2 口径)、RL-v2。
坑
- 训练日志里的 Traceback/ValueError 大多是模型输出文本,监控要过滤到 loguru 的 ERROR 行。
- inst1 ssh 起后台进程要
nohup … < /dev/null &,否则 ssh 挂住。 - codex 的自动续跑循环(
.codex/codex_capacity_continue.py)01:19 覆写过我的脚本,已请 zly 处理。