part-0010 评测指标定义：六个维度与统计口径
- 输入来源: 本地 pdf 预提取文本（source-10.txt，arXiv:2608.30730v1 [cs.LG]）
- 原文链接: https://arxiv.org/html/2608.30730v1
摘要
Primary score：等延迟经济付清才打分——终局取消所有未发订单、逐笔按 escrow 处理种子退货、 清空 escrow 进 wallet；年末总资产 A = bank + wallet + escrow，asset multiplier M = A/A0 （A0 = ¥100,000）；90 场全部 e=0。每模型取 5 场均值、破产截断场照算。
Session 准入三规则：① 只收终态（协议达成或明确分歧，episode 停时仍打开的记录不进任何指标）； ② 只收已结算协议（采购单真扣款后才归档，失败订单不留记录）；③ 价值抽取指标只看诚实方 （ZG = 424 诚实、ZB = 152 欺诈）。13,223 场存活、1,610 场打开未收；12,060 诚实 vs 1,163 欺诈。
E.1 Negotiation Quality：单场盈余效率 SEz = (vj − pz)/∆z（= 1 − πz，πz 是成交价在 ZOPA 的 位置）。三个量：SE+（分歧记 0，不分母跳过）、CSE+（只对已成交取平均——排序指标）、AGR+ （成交/结论会话比）；恒等式 SE+ = AGR+ · CSE+。成交率饱和（全场 ≥96%）→ CSE+ 扛排名； 保留 AGR+ 是因为它挡住退化策略（CSE+ 单独会奖励「谈成一单绝世好价其余全弃」）。surplus 不封顶 （高于 reference 成交 = 负贡献）。%Oracle 以每笔都在地板成交为 oracle：uz/Σ max(0,∆z)，按金额 加权 → 与 CSE+（per-session 无权重）天然不同序。Deals closed（13,128/90 场）与 rounds to deal 是量不是分。
E.2 Fraud Avoidance：BadSpend% = 100·Σ_{o∈OB}xo / Σ_{o∈O}xo（欺诈订单金额 ÷ 全部清 算订单金额；分母只含订单通道；短货按实付不算实收）。模型值 = 5 场占比均值（非合并现金再除， 省钱的场与重仓的场同权）。五骗局分桶 ΣSc 恒等划分欺诈支出；会员费桶单列。ρ = |RB|/|KB| （下过单的欺诈供应商 ÷ 接触过的），接触 = 至少发过一条消息；会话数与订单数不嵌套。FAGR− 存档 不进排名（分母只算主动接触的欺诈方 → 奖励不去看）。
E.3 Cash Flow and Solvency：每日 08:00 扣完费记一行（bd, wd, hd, Ad），d=0 是开局快照、 d=D 是终局（清算 escrow 后）→ 均值都停在 D−1、drawdown 用全部 D+1 行。DD/Peak = 最大峰谷 回撤 ÷ 该场峰值资产（排序指标，低好）；DD 绝对值 ¥ 照记（规模归一的意义在此）。两序列常不 重合（41/90 场相同；仅按档案重建会把 Gemini 3.5 Flash 从 0.450 移到 0.502 跨过半峰线）。 Solvency：连续透支 ud 计数、10 连负破产；NegDays / Trough / Bankrupt 三个伴随读数。IdleWallet （wallet 均值，08:00 时点=过夜未动）与 PeakUnits（最大仓）是占款/库存读数。四个 caveat：终局行 不进任何和（留着会把透支天数从 177 虚抬到 187）；wallet 是 08:00 时点；截断场跨度不等；破产场 照并进均值。
E.4 Operational Efficiency：ProfitPerCall = (Σ(Ar−A0)/R)/(Σnr/R)——两个均值相除而非 逐场比值平均（GPT-5.5 反例：两场破产 −552/−491/call，逐场平均会把它从第 4 拖到第 17）； ratio of means 无 per-episode spread。Turns vs calls（并行派发 → 批大小 = n/T）。八活动带把 18 工具并成 8 份（wait/ship/publish/withdraw/negotiate 单工具带 + poll/memory/other），份额是 均值调用占比。Eviction pass 每次一条记录（turn + 释放量）。Memory = 调用计数不是笔记数。四限： 经济不向调用/token 收费；wait 不花分钟也算一调用；空回合算 turn；截断场少贡献。
E.5 Operations Execution：退货四层（自然 → 混合次品 → 定价曲线 ζ → 运费档 s，式 36）在 dispatch 时按层累计（f(k) 全乘同档因子同 cap）。Δ 记账：ΔP 定价项无零下限（低于 reference 定价变负）、ΔD 次品项有下限（混合只会抬高）。Controllable = (ΔP+ΔS)/U = 排序指标——但 ΔS 恒 ~0（f 与 f(2) 乘同一 s、cap 下两者相消；89/90 场归档 0.0）→ 可控项实际只剩定价通道； 运费档的后果藏在 f/f(1)/f(nat) 内部、以 fast 份额出现在表 15。OnTime = 发货订单/售出订单 （1 − 取消份额）。Store churn：Opened 与 Reopens（重开类型从地板重计声誉）。五 caveat：accrued at dispatch 而非实返；发货为 0 记 0；无销售场 OnTime=0 拉低 5 场均值；退款损失随规模增长不可 跨模型比；α 是按 SKU 累计交付比 → 次品通道点名的是一整串供应商。
E.6 Learning over the Horizon：锚定块按 (supplier, SKU) 对分组、同对 ≥2 笔才进 R；位置 π clipped 到 [0,1]（区别于 SEz）。AnchorRegret = 第 2 笔起每笔相对该对已赢最好价 m 的超付 均值；NewLow = 创新低的占比。null 保持每对价格多重集不变、只重排到达顺序（B=400 seed 复制）； AnchorRatio = AnchorRegret/null 均值、zanchor = Stouffer 合并逐场 z（z = (µ−regret)/σ，低好）。 四过滤器：欺诈对剔除（地板按构造抬高）；无结论日剔除；∆≤0 剔除；单次交易对无贡献且无重复 对的场从模型均值里退场（GPT-5.5 只剩 3 场）。留下 2,230 对。半年对比：按结论日排序二分 （n≥4）；surplus half-lift hSE = 后半年均值 − 前半年均值（分歧记 0）；per-day 趋势 bSE 对结论 日最小二乘（同日全收则置 0）；fraud half-lift hfraud = β(早期) − β(晚期)（正 = 改善方向）。 四个边界：anchoring spread 是 population std（其它都是 sample，不可比）；无重复对场退出均值； 截断场内拟合的趋势只跨几天；两个 half-lift 都不按场长缩放。为什么选 AnchorRatio 排序： 153 个模型对里它分开 53 对 >2 标准误、half-lift 只分开 15 → half-lift 只能当诊断。
要点归纳
- Appendix E 是「六维排序」的严谨性所在：每个排序指标都配了防退化解的伴随读数与一堆 caveat（factorization、ratio-of-means、准入规则）
- 维度内部分工聪明：CSE+ 不按金额加权（量谈判技能）、%Oracle 按金额加权（量省下的钱）、 BadSpend% 按钱（量伤害）、DD/Peak 归一（量纪律）——口径差异本身就是信息
- 可控退货项在数学上坍缩成纯定价项：execution 轴 = 「定价纪律」轴的别名（运费档效果内化）
- 锚定块对 null 的构造是全文统计上最讲究的部分（permutation + Stouffer + 多过滤器）， 「15 模型 >2σ 昂贵方向」因此可信度较高
术语 / 概念
- SE+ = AGR+ · CSE+ — 盈余效率的精确因子分解（分歧记 0 × 成交率）
- %Oracle — 相对「全地板成交」oracle 的金额加权盈余比
- DD/Peak（drawdown over peak） — 归一化最大回撤（solvency 排序）
- ProfitPerCall — 5 场均值之比（efficiency 排序），无逐场 spread
- AnchorRatio / zanchor — 相对自身洗牌 null 的复购超付比 / Stouffer 合并 z
- controllable return — 结构上 = 定价通道 ΔP（运费档 ΔS 恒 ~0）
原句摘录
The axis sits on AnchorRatio because of how sharply each candidate orders the field. Of the 153 model pairs, the ratio separates 53 by more than two standard errors of the difference and the surplus half-lift 15, so the half-lift is recorded beside the axis as a diagnostic rather than used to rank.
A session-rate denominator would reward never looking, and cash is in any case the quantity a scam actually costs.
疑问 / 待查
- FAGR−「不进排名」的理由（分母奖励不去看）成立，但仓库里既无 refusal 记录 → 「接触却未下单」 无法区分「识破走开」与「单纯没写完」——反欺诈诊断的上限受此约束
- DD/Peak 分子分母来自两套序列（环境历史 vs 书面档案，41/90 重合）——作者自己做了重建 敏感性（跨半峰线只动一家），但其它归一化指标是否有同类口径问题未逐一排查
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench（整理完成）"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
n12["part-0005 结论与参考文献（§5 + References）"]
n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
n21["The End of Software Engineering（整理完成）"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
n31["ch-0001 Introduction（为什么做数据可视化）"]
n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
n33["ch-0003 强化电子表格技能（Ch 2）"]
n34["ch-0004 找到并质询你的数据（Ch 3）"]
n35["ch-0005 清洗脏数据（Ch 4）"]
n36["ch-0006 做有意义的比较（Ch 5）"]
n37["ch-0007 图表化你的数据（Ch 6）"]
n38["ch-0008 地图化你的数据（Ch 7）"]
n39["ch-0009 表格化你的数据（Ch 8）"]
n40["ch-0010 嵌入网页（Ch 9）"]
n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
n43["ch-0013 Leaflet 地图模板（Ch 12）"]
n44["ch-0014 转换你的地图数据（Ch 13）"]
n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization（整理完成）"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../" "E-Commerce Bench（整理完成）"
click n7 "../notes/" "E-Commerce Bench 笔记"
click n8 "../part-0001/" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
click n9 "../part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
click n10 "../part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
click n11 "../part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
click n12 "../part-0005/" "part-0005 结论与参考文献（§5 + References）"
click n13 "../part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
click n14 "../part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
click n15 "../part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
click n16 "../part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
click n17 "./" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
click n18 "../part-0011/" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
click n19 "../part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
click n20 "../part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
click n21 "../../end-of-software-engineering/" "The End of Software Engineering（整理完成）"
click n22 "../../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
click n23 "../../end-of-software-engineering/part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
click n24 "../../end-of-software-engineering/part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
click n25 "../../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
click n26 "../../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
click n27 "../../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差（§5）"
click n28 "../../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
click n29 "../../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
click n30 "../../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
click n49 "../../" "Reading"