# 论文大纲：Counterfactual Edit Credit for Long-Horizon Software Agents

日期：2026-09-27。类型：方法论文草稿。工作版式：现有ICLR模板；内部正文预算9页，尚未确认最终投稿年份/会议规则。匿名。assurance=draft。7个编号主节，另有abstract和appendix。当前目标是可编译的方法/协议稿，效果空缺不能包装成完整论文。

## 主张—证据矩阵

| 主张 | 证据 | 状态 | 位置 |
|---|---|---|---|
| 一个保留编辑块可在最终产物上被删除并复测，不需要策略续写 | edit_credit实现、120条固定重建 | 技术支持；不是新颖性优先权 | §3 |
| M/B在同一轨迹上具有同带符号/L1原始辅助系数质量 | 公式代数、CPU实际loss接入检查 | 技术支持；不含梯度范数/裁剪等价 | §3 |
| 失败轨迹中能观测到非零删除效用 | 完整pilot 244可用/92非零，111失败查询中17非零（12正/5负） | 描述性支持；不代表策略效果 | §5/附录 |
| M在留出任务上优于B/O/E | 后继训练与同栈终评尚未完成 | 待实验 [unadjudicated] | §5 |
| 每条准入轨迹至多一个额外verifier query、零策略续写 | 已实现查询路径；实际端到端成本仍在测 | 查询界受支持；可接受成本及相对成本尚未证实 | §3/§5 |

## 结构与页数预算

Abstract0.4页；Introduction1.3；Related Work1.0；Method2.2；Experimental Design1.4；Evaluation1.9；Limitations0.55；Conclusion0.25。合计9页，标题/图/表/公式空间计入各节分配。未取得结果时自然短于预算，不用空洞文字凑页数。

### Abstract（150–220词）

先给出最终产物干预和轮次信用的具体方法。解释终局打分难以区分长轨迹中不同编辑的作用。给出“一次额外verifier、无需策略续写”的计算形式；实证收益槽位留为清晰draft标记，不把控制检查数量当方法效果。

### §1 Introduction

从“长轨迹包含多次写入/读取，而测试针对最终补丁”切入；不写所有前人都只有序列奖励。第二段提出使用可保留文件改动作为低成本干预单位。第三段解释分配对照的必要性。贡献只列已实现机制、受控比较设计，以及未来待完成的效果证据槽位。主线是方法，不是运行故障诊断报告。

### §2 Related Work

四个有论证关系的段落：软件代理RL与终局测试；学习式/诊断式局部信用（BoostAPR/RCCA/SWEET-RL）；幅度与位置分离（FACTOR/CoRT）；续写/分叉与产物删除（VinePPO/Shepherd）。只描述核验过的方法差异，不做未实施性能比较。CRR全文未知，不引用其未知机制。

### §3 Counterfactual Edit Credit

符号：轨迹τ，最终补丁P，编辑块e，生成token数L、选中轮次token数m，原始终局GRPO优势A，测试效用U、差D、λ、cap c、共同收缩s。

依次写：快照/连续编辑块；候选资格与独立选择；按路径恢复的最终产物干预；测试效用；加性信用与B广播控制；优化接入与不可用处理。强调定位整个产生轮次，含推理和工具语法，不是只标代码token。

公式：`s=min(1,c*m/(lambda*abs(D)*L))`（D=0时s=1）；M在选中生成位置为`lambda*D*s*L/m`，B在全部生成位置为`lambda*D*s`。选中块可跨多个连续编辑轮，mask取这些轮次全部生成token的并集；不完整span、格式错误、无有效生成位置或不可用CF均令辅助项为0且记录原因，不替换所选块。两种原始系数的signed/L1质量相等；非零时平方质量比为L/m。加到A后，prompt_mean/DPPO继续处理，不从原始质量推出梯度等价。用短代数推导，不把基础恒等式包装成新理论定理。

artifact差分不是自然执行中省略动作后的因果回报；后续其他路径编辑可能依赖被移除内容。正文方法定义处写清estimand，泛化局限归§6。

E的辅助项为`C_E(t)=clip(lambda*A*L/m,-c,c)*I_e(t)`，加到原终局组优势A上；不访问D，m=0/选择不可用时为0。

### §4 Experimental Design

O/B/M/E表格；共同终局reward处理；149/2384/dev39与原150映射；官方500/holdout100固定分母；模型与预算；三训练种子计划与评测n=2/n=16的区别。所有未完成设置使用未来/计划语态，不能称已执行三种子实验。

主终点80。M−B是主要比较；M−O、M−E次之。独立seed和task配对统计放附录，主表不写CI，但不删实验范围/局限。给出真实成本字段，待实测后填值。

### §5 Evaluation

草稿首先提供明确Pending标记的主结果表，不生成假曲线。最终填入官方500、后继训练149/未用于后继训练的351，以及用于当前设计/存点选择时保持封存的holdout100的真实成绩。原train150/余250仅作为补充映射，隔离1题单列。

机制分析已有完整pilot及信用来源分解；报告覆盖/可用性、正负D与失败轨迹信息；cap频率、块数量、空反事实比例、选中位置、DPPO诊断。必须区分“存在信号”和“该信号提升学习”。归属/因果准确性和CF必要性不由O/B/M/E单独证明。

工程兼容性/完整性只给简短复现入口，细节在附录，不重走旧Harness Before Policy叙事。

### §6 Limitations

最终产物条件干预与动作因果效果的区别；跨路径交互/最后触及资格的选择偏差；质量相等不代表梯度相等；单模型/有限训练题的范围；官方评分名单局限；当前缺少归属重定位及移除信息必要性消融。不写泛泛自我否定。

### §7 Conclusion

重申具体方法与最终证据能支持的范围。草稿中不宣称性能提升或提交就绪。

### Appendix

完整参数、训练/评测清单、每训练种子结果和task聚类统计、profile与重建检查、无效历史实验排除原因、数据和算力明细、AI辅助说明。训练机名/账号/本地绝对路径不进入匿名正文或PDF。

## 图表计划

| ID | 内容 | 数据源 | 当前状态 |
|---|---|---|---|
| Fig1 | 相同完成轨迹：原补丁→删除选中块→一次测试差；下方B广播与M轮次集中，面积相等 | `figures/specs/fig_counterfactual_credit.json` | 已有SVG/PDF，caption明确纯示意、raw mass非梯度 |
| Table1 | O/B/M/E训练信号/查询/分配设计 | 代码与冻结协议 | 可写；不含效果数 |
| Table2 | 官方500和池外/留出结果，按seed分开 | 将来的终评manifest/结果 | Pending，空缺不能填合成数 |
| Table3 | 真实GPU小时、额外verifier、token、延迟 | 后继run日志与CF日志 | Pending |
| Fig2 | 在同一真实轨迹上显示D、生成位置与B/M系数 | 完成并审核的pilot记录 | 完整pilot及实例数据已审核；图尚未生成 |

## 引用计划

复用并核对已有SWE-bench、DeepSeekMath/GRPO、DPPO、长上下文软件RL条目。新增主源：BoostAPR arXiv2605.09134、FACTOR2608.07118、RCCA2608.27906、CoRT2607.25659、SWEET-RL2503.15478、VinePPO ICML2025官方PMLR条目、Shepherd2605.10913。方法正文已由NOVELTY_CHECK核对；作者/年份/BibTeX在写入前再次读取主源。[VERIFY metadata]。不凭记忆生成作者，不把未知CRR机制写入引用。

## 审阅

GPT-6-Astra xhigh复核建议小修后继续；逻辑/证据/实验/定位/页数五项均8/10，仅为大纲评分，same-family/provisional。已按要求区分120条factual reconstruction与未完成CF，成本主张收窄到query界，补齐多轮mask/不可用/E公式，并明确种子、均值非best-of-n及页数含图表。完整记录`.aris/traces/paper-plan/2026-09-27_outline/review.md`。