一个真实的 Agent Evaluation，
到底是怎么“出题和打分”的？
不讲抽象概念，直接拆 Mercor × Ramp 的 APEX-Accounting 公开真题：把 Agent 放进一家虚构公司的财务世界，让它自己查资料、识别冲突、完成工资对账，再用专家写好的 rubric 判断结果。
最值得看的不是“最后四个数字”，而是：为什么这四个数字必须从一个充满干扰、冲突和错误线索的公司世界里自己找出来。
先把结构搞清楚：Agent 是考生，World 是考场，Rubric 是阅卷规则
真实题目：把 12 月工资从 Gusto 对到 QuickBooks
① 对账 12 月 Gusto 工资记录与 QBO 的 payroll 相关账户，并给出 reconciling variances；② 给出 6000 Salaries–Associates 与 6010 Salaries–Of-Counsel 的最终余额；同时检查 Acting Controller 截至 12 月 31 日留下的 memo。
关键点：Agent 收到的是工作指令，不会直接拿到“这 8 个文件就是答案来源”的清单；它需要在 world 中自己定位证据。
这个“模拟环境”长什么样？不是一张表，而是一整家公司的一角
这道题的专家元数据显示，完整解题会涉及下面这些材料。公开 dev world 总共有 90 个共享文件，Agent 面对的是整个环境，而不是只看到正确答案所需的几张表。
Gold Answer 第一层：先解释为什么 Gusto 和 QBO 差了 $94,858.08
Gusto：真实发薪
PR-25 + PR-26。它与 QBO 中对应的正常 payroll posting 本身可以逐账户对上。
QBO：还多了两笔年末 accrual
所以总 reconciling variance = $94,858.08。这一步本质是：Agent 必须知道“差额并不等于错误”，而是要解释差额由哪两笔会计事项构成。
真正像 Agent Eval 的地方：Controller Memo 里有一条看起来权威、其实不能直接信的解释
$2,197.80 是“有意 reclassification”
Controller memo 声称，6000 与 6010 之间的 $2,197.80 差异是按 Compensation Committee 指示做的 intentional reclassification，因此“不需要进一步处理”。
这条解释与底层记录对不上
Gold answer 会继续核对 payroll accrual workpaper、员工明细等证据，发现 memo 的解释无法被数据验证。因此这不是可以接受的 reclassification，而是 6000 / 6010 之间的 posting error。
正确动作：把这笔错分反过来校正
最终正确余额
为什么这题不是“读表题”
因为存在一个“高级员工写的 memo”和底层账务证据互相冲突。一个只会检索、总结的模型很容易被 memo 带偏；真正合格的 Agent 要做的是 reconcile evidence。
评分标准其实非常朴素：4 个 criterion，逐个 Pass / Fail
你看完会发现：写这个“打分器”不难，真正贵的是前面三件事
知道什么工作值得考
要懂真实月结流程，知道 payroll reconciliation 里哪些错误是会计师真正会碰到的，而不是凭空造几道数学题。
造一个内部一致但有真实冲突的公司
QuickBooks、工资表、人员 roster、accrual workpaper、memo 都要像同一家公司的东西，并且时间、账户、金额关系要能相互验证。
把专家判断压成机器可评分的 criterion
专家要先自己完整做对，再决定“哪些结果是 substantive asks”“容忍区间是多少”“什么答案才真正算完成”。
World + Professional Task + Hidden Trap + Gold Answer + Rubric。
这也修正一个容易产生的误解：不是所有 Agent Eval 都必须“逐步检查 Agent 动作”
| APEX-Accounting 这类 | 更强 state/action verifier 的 Eval | |
|---|---|---|
| Agent 在环境里行动？ | 是。自己找文件、查系统、算账。 | 是。可能操作浏览器、ERP、交易系统等。 |
| 最终怎么评分？ | 主要看 final output 是否满足 expert rubric。 | 直接检查数据库 / 系统最终状态，以及过程中是否违规。 |
| 看 trajectory 吗？ | 当前公开 grading 设计不看。 | 经常会看 action log / side effects / policy violations。 |
| 难点 | 专业 world、证据冲突、Gold 与 rubric。 | 再加 deterministic state verifier、权限和副作用检查。 |
原始资料
直接包含 prompt、8 个 context files、4 个 rubric criteria、完整 gold output 和任务 metadata。
Mercor × Ramp benchmark 的 world 构造、运行方式、grading protocol、dev / held-out 切分说明。
160 个 held-out tasks、10 个 simulated companies，以及真实会计专业工作的 benchmark 设计背景。
上一页讨论为什么第三方 Eval startup 会存在，以及 Environment / Verifier / Failure Data 的商业壁垒。
先造一个专家认可的“真实工作世界”，再设计一个有坑但有确定答案的任务，最后把“专家认为做对了”的标准变成 rubric。