# 评测对照 · bench vs held-out（含 rubric 同源风险对冲）

- 生成时间：2026-10-18T14:57:24+0800；打分器 v1.0
- bench：`data/eval/bench.jsonl`（127 条，训练数据形态与之对齐）
- heldout：`data/eval/heldout-rubric.jsonl`（14 条，改写要点词，未参与训练）
- general：`data/eval/general.jsonl`（83 条，通用回归）

## 总览（必须带分子/分母）

| 集合 | n | base | tuned | Δ |
|---|---|---|---|---|
| bench | 127 | 70/127 = 55.1% | 76/127 = 59.8% | **+4.72 pp** |
| heldout | 14 | 1/14 = 7.1% | 2/14 = 14.3% | **+7.15 pp** |
| general | 83 | 58/83 = 69.9% | 56/83 = 67.5% | -2.41 pp |

**alignment_effect = Δbench − Δheldout = +4.72 − (+7.15) = -2.43 pp** → ≤5pp：bench 增益可视为能力提升

> 解释与限制：heldout 只有 14 条，**1 条 = 7.1pp**，绝对分很低（两模型都答不出改写后的证据点），因此 Δheldout 的置信度低；
> 本表只能说明「没有观察到 bench 增益显著高于 heldout 增益」的证据，不能证明零对齐效应。

## 分任务（bench，pass/n）

| 任务 | base | tuned | Δ |
|---|---|---|---|
| analysis | 6/14 = 42.9% | 9/14 = 64.3% | +21.4 pp |
| benchmark | 7/14 = 50.0% | 9/14 = 64.3% | +14.3 pp |
| compliance | 5/12 = 41.7% | 6/12 = 50.0% | +8.3 pp |
| decision | 7/11 = 63.6% | 8/11 = 72.7% | +9.1 pp |
| diagnosis | 7/18 = 38.9% | 11/18 = 61.1% | +22.2 pp |
| extraction | 14/19 = 73.7% | 13/19 = 68.4% | -5.3 pp |
| metric_calc | 22/23 = 95.7% | 19/23 = 82.6% | -13.0 pp |
| sop | 2/16 = 12.5% | 1/16 = 6.2% | -6.2 pp |

## 分任务（heldout，pass/n）

| 任务 | base | tuned |
|---|---|---|
| analysis | 0/3 | 0/3 |
| benchmark | 0/2 | 0/2 |
| compliance | 0/2 | 1/2 |
| decision | 0/3 | 0/3 |
| diagnosis | 0/2 | 0/2 |
| metric_calc | 1/2 | 1/2 |

## 结论（可直接引用）

1. 领域 bench：55.1% → 59.8%（**+4.72 pp**），微调在分析/诊断/决策/对标/合规上提升明显。
2. 通用回归：69.9% → 67.5%（-2.41 pp），阈值「下降 ≤3pp」→ **通过**。
3. 关键词对齐风险对冲：heldout 7.1% → 14.3%（+7.15 pp），alignment_effect = -2.43 pp（≤5pp：bench 增益可视为能力提升）；heldout 样本极小、绝对分低，仅作方向性参考。
4. 模型能力边界（算术/财务数字幻觉）见 `docs/model-card.md` §5；精确计算请走工具。