part-0005 结论与参考文献
- 输入来源: 本地 pdf 预提取文本（source-05.txt，arXiv:2608.30730v1 [cs.LG]）
- 原文链接: https://arxiv.org/html/2608.30730v1
摘要
§5 Conclusion 收束四点：① 基准构成——agent loop 逐回合驱动 + 持久记忆、18 个工具、 确定性环境（客户需求模型 + 确定性谈判内核、LLM 只把决定变对话）、真实平台的数据/供应商/ 日历；② 18 个模型 × 5 场、按年末总资产 + 六维能力打分；③ 结果——没人七项全强：GPT-5.6 Sol 最赚（~14×）但反欺诈第 16、每工具调用赚得比 Fable5 少；Claude Opus 4.7 谈判与反欺诈双第一 而资产中游；Qwen3.8-Max-Preview 开源第一（4.2×）；4 个模型部分场破产（2 场 GPT-5.5 早在 第 17 天、收入一分未结）。④ 方法论外溢：确定性内核控制证明能消除复杂多边交互的评估噪声、 多维诊断对抓分散失败模式不可或缺——为把 agent 基准推向更长 horizon 提供 blueprint。
References 覆盖面可作该领域地图：agent 评测（SWE-bench、OSWorld、GDPval、TheAgentCompany、 UltraHorizon、EdgeBench、StockBench、AI Agents that Matter、BFCL）、经营模拟线（Vending-Bench 1/2、YC-Bench、MerchantBench、RetailBench、TERMS-Bench）、谈判理论（Harsanyi、Rubinstein、 Chatterjee & Samuelson、Raiffa、Baarslag et al. 2013/2014/2016、Faratin）、记忆/反思 （Reflexion、MemGPT、Generative Agents、MemoryBank、Voyager）、认知偏差与锚定（Takenami et al. 2025、Lou & Sun 2026、Petrowsky et al. 2025、Zeng et al. 2024 persuasion/jailbreak）、 长上下文（LongBench、Lost in the Middle）、声誉系统（Resnick et al. 2000）、动态定价 （Gallego & van Ryzin）、欺诈基准（Fraud-R1）、错误条（Miller、Kapoor et al.）。
要点归纳
- 结论没有新论证，是把 §4 的关键反直觉数字重新钉一遍——「技能与规模分离」是全文的记忆点
- 方法论贡献被放在与结果同等地位：kernel control + 多维诊断 = 可迁移的评测方法论
- 参考列表里 agentic benchmark 的 2025–2026 集中爆发（本文参考文献过半是 2025/2026）说明 这是快速演进的赛道，定位主张保质期短
术语 / 概念
- blueprint（蓝图） — 论文自称对下一代 agent 评测的可迁移贡献
- foundational blueprint — 确定性内核 + 多维诊断作为评测方法论
原句摘录
No model is strong on all seven. GPT-5.6 Sol earns the most, turning the ¥100,000 stake into roughly 14 times as much, yet it ranks 16th of 18 on fraud avoidance and earns less per tool call than Fable5.
By proving that deterministic kernel control eliminates evaluation noise in complex multi-party interactions, and that multi-dimensional diagnostics are indispensable for catching diverse failure modes, we provide the methodology needed to push agent benchmarks into ever-longer horizons.
疑问 / 待查
- 参考文献多为 2026 年新作（部分 arXiv id 为 2603–2607 区间），引用前建议按原文 URL 复核
- 「first open-source benchmark to combine deterministic counterpart negotiations, dynamic events, and concurrent multi-store management」的排他主张依赖 Table 1 的六列对比口径， 重读相关原文时留意各列定义差异（real data 的‡、reproducible 的§）
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench（整理完成）"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
n12["part-0005 结论与参考文献（§5 + References）"]
n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
n21["The End of Software Engineering（整理完成）"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
n31["ch-0001 Introduction（为什么做数据可视化）"]
n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
n33["ch-0003 强化电子表格技能（Ch 2）"]
n34["ch-0004 找到并质询你的数据（Ch 3）"]
n35["ch-0005 清洗脏数据（Ch 4）"]
n36["ch-0006 做有意义的比较（Ch 5）"]
n37["ch-0007 图表化你的数据（Ch 6）"]
n38["ch-0008 地图化你的数据（Ch 7）"]
n39["ch-0009 表格化你的数据（Ch 8）"]
n40["ch-0010 嵌入网页（Ch 9）"]
n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
n43["ch-0013 Leaflet 地图模板（Ch 12）"]
n44["ch-0014 转换你的地图数据（Ch 13）"]
n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization（整理完成）"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../" "E-Commerce Bench（整理完成）"
click n7 "../notes/" "E-Commerce Bench 笔记"
click n8 "../part-0001/" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
click n9 "../part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
click n10 "../part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
click n11 "../part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
click n12 "./" "part-0005 结论与参考文献（§5 + References）"
click n13 "../part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
click n14 "../part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
click n15 "../part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
click n16 "../part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
click n17 "../part-0010/" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
click n18 "../part-0011/" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
click n19 "../part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
click n20 "../part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
click n21 "../../end-of-software-engineering/" "The End of Software Engineering（整理完成）"
click n22 "../../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
click n23 "../../end-of-software-engineering/part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
click n24 "../../end-of-software-engineering/part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
click n25 "../../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
click n26 "../../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
click n27 "../../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差（§5）"
click n28 "../../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
click n29 "../../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
click n30 "../../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
click n49 "../../" "Reading"