part-0011 每维度结果导览与模型/实验设置
- 输入来源: 本地 pdf 预提取文本（source-11.txt，arXiv:2608.30730v1 [cs.LG]）
- 原文链接: https://arxiv.org/html/2608.30730v1
摘要
Table 10：18 个被评模型（5 episode 每个、同一固定世界）。闭源 8：GPT-5.6 Sol (max)、Fable5 (max)、GPT-5.5 (xhigh)、Claude Opus 4.8 (max)、Claude Opus 4.7 (max)、Claude Opus 4.6 (max)、 Gemini 3.5 Flash (fixed high)、Gemini 3.1 Pro (fixed high)。开源 10：Qwen3.8-Max-Preview (unset)、GLM 5.2 (high)、Kimi K3 (unset)、GLM 5.1 (not sent)、DeepSeek-V4-Pro-Preview (max)、 Qwen3.7-Max、GLM 5.2 (max)、Kimi K2.6、Qwen3.6-Plus、Qwen3.5-Plus（多数 unset/默认采样）。 「Reasoning effort」列 = harness 自己设 high 的地方记 fixed high、家族开 thinking 无 effort 域 记 unset/not sent。
Appendix F 组织：每维一张按期末资产排序的 18 行表（表 11–16），公式与字段名在 Appendix E。
- F.1 Per-Episode Asset Trajectories：相等的 5 场均值藏不等的分散（Figure 21/22 画全部 90 场）。14 个不破产模型里最好场 vs 最差场中位差 2.76×（Qwen3.7-Max 57.0× 到 Kimi K2.6 1.55×）； 场开始退场后均值曲线变成条件于存活（GPT-5.5 的均值因此被抬）
- F.2 Negotiation Quality（Table 11）：SE+/CSE+/%Oracle/AGR+ 全 18 行 + rounds/deals 量。 单模型内跨模板 surplus 中位散 0.093 > 模板间 0.051（Expressive→Adversarial）、< 模型间 0.215 ——对手难度 < 自己的策略。16/18 对欺诈方量得 surplus 更低（算术效应：都按诚实地板评分）
- F.3 Fraud Avoidance：中位模型把接触过的欺诈供应商的 22.0% 变成下单对象；全年最宽诚实 搜索只触 14.3% 的 424 家（最窄 2.4%）→ 每个筛查决定都跑在模型自选的窄片上
- F.4 Cash Flow and Solvency（Table 13）：DD 绝对值 ¥ + DD/Peak 比例并列（低好）；五个模型 平均让出峰值过半、含全部四个破产者；IdleWallet 高 = 过夜占款不花
- F.5 Operational Efficiency（Table 14）：turns/calls/¥per call/evict/memory + 八带份额
- F.6 Operations Execution（Table 15）：几乎没人填满 4 店上限——只有 GPT-5.6 Sol、 GLM 5.2 (high)、Qwen3.8-Max-Preview 平均 >3.5 店在营；累计开店数大多超上限（每开一家新的就 替换一家）
- F.7 Learning over the Horizon（Table 16）：左块 = 锚定块 + permutation null；右块 = 三个 半年对比。模型可在一侧改善、另一侧不改善
- F.8 Profiles and Rank Crossings：Figure 28 画全部 18 个雷达；模型在 7 轴上最好/最差排名 平均跨 10.2/18 位；没人七轴都进前五（Qwen3.8-Max-Preview 最接近，最差轴第 7）。Figure 29 把量变排名：7 次转轴 × 153 模型对 = 311 次次序反转；execution 让模型离资产排名最远（平均 4.2 位）、efficiency 最近（0.7 位——「一年利润除以调用数」几乎复述资产负债表）
要点归纳
- 设置上的刻意公平：5 场小样本 → 每个均值都带 std（Miller / Kapoor 错误条）；统一窗口与驱逐、 统一渲染器 → 差异全在 agent 侧
- 能力维度彼此正交的证据在 F.8 的 rank crossings：311/153×7 ≈ 29% 的成对次序随转轴反转
- efficiency 轴与资产排名几乎重合 = 冗余维度（作者自己指出）；execution 轴最反直觉（盈利王 最差、垫底者最好）——真正的画像增量在后者
术语 / 概念
- reasoning effort 设置 — max/xhigh/high/fixed high/unset/not sent 因家族而异
- rank crossings（排位反转） — 不同维度间模型次序的翻转（F.8）
- conditioned-on-survival mean — 破产场退场后的存活者均值（F.1 的 GPT-5.5 现象）
原句摘录
Equal five-episode means hide unequal spreads.
Counterpart difficulty moves an outcome less than the agent's own policy does.
Operations execution moves an agent furthest from its asset rank, 4.2 places on average, while operational efficiency barely moves it at all, 0.7 places, so the axis that prices a year against its tool calls repeats what the balance sheet already said.
疑问 / 待查
- 「没人七轴都进前五」与「execution 是最大偏离轴」组合起来看，六维里哪些维其实在量同一件事 （efficiency↔profit 重合度高）值得主成分式地拆一下
- Table 10 的 effort 混杂：not sent / unset / fixed high 不是同一协议，跨模型比较时这部分 方差没被控制
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench（整理完成）"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
n12["part-0005 结论与参考文献（§5 + References）"]
n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
n21["The End of Software Engineering（整理完成）"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
n31["ch-0001 Introduction（为什么做数据可视化）"]
n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
n33["ch-0003 强化电子表格技能（Ch 2）"]
n34["ch-0004 找到并质询你的数据（Ch 3）"]
n35["ch-0005 清洗脏数据（Ch 4）"]
n36["ch-0006 做有意义的比较（Ch 5）"]
n37["ch-0007 图表化你的数据（Ch 6）"]
n38["ch-0008 地图化你的数据（Ch 7）"]
n39["ch-0009 表格化你的数据（Ch 8）"]
n40["ch-0010 嵌入网页（Ch 9）"]
n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
n43["ch-0013 Leaflet 地图模板（Ch 12）"]
n44["ch-0014 转换你的地图数据（Ch 13）"]
n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization（整理完成）"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../" "E-Commerce Bench（整理完成）"
click n7 "../notes/" "E-Commerce Bench 笔记"
click n8 "../part-0001/" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
click n9 "../part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
click n10 "../part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
click n11 "../part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
click n12 "../part-0005/" "part-0005 结论与参考文献（§5 + References）"
click n13 "../part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
click n14 "../part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
click n15 "../part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
click n16 "../part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
click n17 "../part-0010/" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
click n18 "./" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
click n19 "../part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
click n20 "../part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
click n21 "../../end-of-software-engineering/" "The End of Software Engineering（整理完成）"
click n22 "../../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
click n23 "../../end-of-software-engineering/part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
click n24 "../../end-of-software-engineering/part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
click n25 "../../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
click n26 "../../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
click n27 "../../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差（§5）"
click n28 "../../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
click n29 "../../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
click n30 "../../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
click n49 "../../" "Reading"