Skip to content
← 返回 Reading
← 返回 Reading

E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

  • 类型: paper（论文）
  • 状态: organized（整理完成）
  • 作者: Wei Fan、Xinjie Shen、Xudong Guo、Jianhong Tu、Yang Su、Yinger Zhang、Lianghao Deng、Fengyu Wang、Baohua Dong、Yangqiu Song、Dayiheng Liu（arXiv 作者列表；提取文本无标题页，机构待确认）
  • 出处: arXiv preprint https://arxiv.org/html/2608.30730v1（arXiv:2608.30730v1 [cs.LG] / cs.CL，2026-08-31 投稿 v1）
  • 整理完成日期: 2026-09-05
  • 读完日期: （由用户读完后再手工补注）

全文主线（核心论点）

  • 任务设定：给 agent 一个模拟中国电商平台商家账户与 ¥100,000 本金，运营完整的 2026 年 ——用 18 个工具做市场调研、与供应商谈判进货、定价上架（最多 4 个店铺并行）、发货、 吸收退货、管理现金流，期末总资产最大化；任务属于 RL 里 continuing task（无终态、 累积得分），与一次性 episodic benchmark 相对
  • 确定性双边经济（可复现性核心）：客户侧需求由固定公式决定（价格弹性 × 周末 × 季节 × 促销 × 事件 × 声誉，再经容量截断）；供应商侧每个定价/让步/接受-放弃决定都由确定性 谈判内核给出，LLM 只把决定渲染成对话 —— 两边的抽样噪声都被消除，结果差异完全归因 于 agent 策略而非运气（只有渲染措辞在 run 间变化）
  • 真实数据层：基于淘宝 & 天猫日志校准：6,886 个商品、60 个类目、576 个供应商（424 诚实与 152 欺诈，跑五种骗局）、12 种店型；一整年 10 场不可避市场事件与 8 场可选促销持续搅动需求； 关键参数（成本地板、真实需求）隐藏 → 系统性信息不对称
  • 评测方法：18 个模型（8 闭源与 10 开源）× 5 episode = 90 场；主分数（年末总资产倍数） 之外再量六个维度：谈判质量（CSE+）、反欺诈（BadSpend%）、现金流与偿付（Drawdown/Peak）、 运营效率（¥/tool call）、运营执行（可控退货率）、长程学习（AnchorRatio）
  • 核心结果：没有一个模型七项全强。GPT-5.6 Sol 盈利第一（约 14 倍本金）却反欺诈排名 第 16、工具效率低于 Fable5；Claude Opus 4.7 谈判与反欺诈双第一但盈利中游；开源第一为作者 自家 Qwen3.8-Max-Preview（4.2 倍，学习维度第 1）；4 个模型部分 episode 破产（90 场中 10 场）； 8,647 次同品同供应商重复采购中 16/18 个模型无压价趋势 → 长程经验学习是当前 agent 的 最大短板
  • 方法论贡献：确定性内核控制证明可消除复杂多边交互中的评估噪声；多维诊断证明单靠一个 总资产数字会掩盖失败模式 —— 为 push agent 评测走向更长 horizon 提供 blueprint

阅读笔记

章节

素材为本地 pdf（2608.30730v1.pdf）经脚本按页分组预提取为 13 个文件 （source-01…13.txt，拆分点落在正文与表格之间，与论文章节大致对齐），每文件一页：

页码 论文范围（大致） 摘要
part-0001 Abstract + §1 Introduction 摘要与引言：一年期电商运营基准
part-0002 Table 1 + §2 Related Work 相关工作与定位：continuing 任务谱系
part-0003 §3 E-Commerce Bench（主体） 基准设计：四层架构与确定性经济
part-0004 Table 2 + §4 Experimental Results 实验结果：18 模型的多维画像
part-0005 §5 Conclusion + References 结论与参考文献
part-0006 Table 3 + Appendix A 工具集与 agent harness：18 工具与上下文管理
part-0007 Appendix B 数据层：类目、店型、日历与供应商
part-0008 Table 7 + Appendix C 经济引擎：13 步结算与需求/退货/成本公式
part-0009 Appendix D 确定性谈判内核：决策函数与骗局目录
part-0010 Appendix E 评测指标定义：六个维度与统计口径
part-0011 Table 10 + Appendix F 每维度结果导览与模型/实验设置
part-0012 Appendix G 失败案例研究：骗局实录与一次破产
part-0013 Table 18 + Appendix H（含部分 F 表格） 失败模式规则表与提示词设计
Backlinks (1) 
flowchart LR
  n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
  n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
  n2["The Curious Incident of the Dog in the Night-Time 人物"]
  n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
  n4["The Curious Incident of the Dog in the Night-Time 笔记"]
  n5["The Curious Incident of the Dog in the Night-Time 故事线"]
  n6["E-Commerce Bench（整理完成）"]
  n7["E-Commerce Bench 笔记"]
  n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
  n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
  n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
  n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
  n12["part-0005 结论与参考文献（§5 + References）"]
  n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
  n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
  n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
  n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
  n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
  n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
  n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
  n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
  n21["The End of Software Engineering（整理完成）"]
  n22["The End of Software Engineering 笔记"]
  n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
  n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
  n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
  n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
  n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
  n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
  n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
  n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
  n31["ch-0001 Introduction（为什么做数据可视化）"]
  n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
  n33["ch-0003 强化电子表格技能（Ch 2）"]
  n34["ch-0004 找到并质询你的数据（Ch 3）"]
  n35["ch-0005 清洗脏数据（Ch 4）"]
  n36["ch-0006 做有意义的比较（Ch 5）"]
  n37["ch-0007 图表化你的数据（Ch 6）"]
  n38["ch-0008 地图化你的数据（Ch 7）"]
  n39["ch-0009 表格化你的数据（Ch 8）"]
  n40["ch-0010 嵌入网页（Ch 9）"]
  n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
  n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
  n43["ch-0013 Leaflet 地图模板（Ch 12）"]
  n44["ch-0014 转换你的地图数据（Ch 13）"]
  n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
  n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
  n47["ch-0017 附录 A 排查常见问题"]
  n48["Hands-On Data Visualization（整理完成）"]
  n49["Reading"]
  n0 --> n4
  n3 --> n0
  n3 --> n1
  n3 --> n2
  n3 --> n4
  n3 --> n5
  n5 --> n3
  n6 --> n7
  n6 --> n8
  n6 --> n9
  n6 --> n10
  n6 --> n11
  n6 --> n12
  n6 --> n13
  n6 --> n14
  n6 --> n15
  n6 --> n16
  n6 --> n17
  n6 --> n18
  n6 --> n19
  n6 --> n20
  n21 --> n22
  n21 --> n23
  n21 --> n24
  n21 --> n25
  n21 --> n26
  n21 --> n27
  n21 --> n28
  n21 --> n29
  n21 --> n30
  n22 --> n21
  n30 --> n22
  n48 --> n31
  n48 --> n32
  n48 --> n33
  n48 --> n34
  n48 --> n35
  n48 --> n36
  n48 --> n37
  n48 --> n38
  n48 --> n39
  n48 --> n40
  n48 --> n41
  n48 --> n42
  n48 --> n43
  n48 --> n44
  n48 --> n45
  n48 --> n46
  n48 --> n47
  n49 --> n3
  n49 --> n6
  n49 --> n21
  n49 --> n48
  click n0 "../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
  click n1 "../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
  click n2 "../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
  click n3 "../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
  click n4 "../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
  click n5 "../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
  click n6 "./" "E-Commerce Bench（整理完成）"
  click n7 "notes/" "E-Commerce Bench 笔记"
  click n8 "part-0001/" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
  click n9 "part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
  click n10 "part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
  click n11 "part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
  click n12 "part-0005/" "part-0005 结论与参考文献（§5 + References）"
  click n13 "part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
  click n14 "part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
  click n15 "part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
  click n16 "part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
  click n17 "part-0010/" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
  click n18 "part-0011/" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
  click n19 "part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
  click n20 "part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
  click n21 "../end-of-software-engineering/" "The End of Software Engineering（整理完成）"
  click n22 "../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
  click n23 "../end-of-software-engineering/part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
  click n24 "../end-of-software-engineering/part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
  click n25 "../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
  click n26 "../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
  click n27 "../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差（§5）"
  click n28 "../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
  click n29 "../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
  click n30 "../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
  click n31 "../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
  click n32 "../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
  click n33 "../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
  click n34 "../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
  click n35 "../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
  click n36 "../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
  click n37 "../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
  click n38 "../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
  click n39 "../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
  click n40 "../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
  click n41 "../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
  click n42 "../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
  click n43 "../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
  click n44 "../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
  click n45 "../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
  click n46 "../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
  click n47 "../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
  click n48 "../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
  click n49 "../" "Reading"
Links (14)