part-0001 摘要与引言：一年期电商运营基准
- 输入来源: 本地 pdf 预提取文本（source-01.txt，arXiv:2608.30730v1 [cs.LG]）
- 原文链接: https://arxiv.org/html/2608.30730v1
摘要
Abstract 立论：LLM agent 越来越多地被期望处理跨数千步的任务，需要做序列决策、从过往 经验适应、并在初始指令之后长期保持连贯。作者把长 horizon agentic 任务按 RL 的 episodic（有终态） 与 continuing（无终态） 二分，指出电商经营是 continuing 场景的 自然载体——高赌注、不可逆决策、复利式财务健康。现状基准各缺一角：Vending-Bench 系列模拟 多轮供应商谈判但用 mock 数据 + prompt 模拟 → 供应商反馈高度随机、可被操纵；YC-Bench 跑确定 性创业年但无供应商采购；MerchantBench / RetailBench 有真实商品与开放代码却放弃谈判与对抗 动态。论文提出 E-Commerce Bench：首个把确定性供应商谈判与客户销售建模统一进真实世界 continuing 经营的开源基准——365 天、最多 4 店并行、6,886 商品与 576 供应商（由淘宝/天猫 日志校准）、全年促销/灾害/供应链冲击日历；基准 harness 自动管理上下文窗口并提供持久记忆。 双确定性保证可复现：客户购买/退货走固定需求模型（唯一随机性来自 episode seed）； 供应商侧确定性谈判内核固定每个定价/让步/接受决定，LLM 只渲染对话（约 1/4 供应商是欺诈方）。 评估 18 个前沿与开源模型，用主分数 + 六维指标而非单一总资产。
三大贡献：① 首个把确定性对手谈判、动态事件、并发多店管理融进一年 horizon 的开源基准； ② 双边确定性经济（需求模型 + 谈判内核，LLM 只做渲染）——内核把 TERMS-Bench 的对手设计 扩展到重复、跨供应商讨价还价；③ 18 模型多维评测——单个总资产数字不再能藏住弱点，最好 的赚钱者既不是最佳谈判者也不是最高效运营者。
§1 Introduction 简述背景：LLM 需在长轨迹上用外部工具规划与行动；episodic 基准（GitHub issue、真实电脑操作、专家评分知识工作）与 continuing 基准（Qian et al. 2025 交易、Chen et al. 2026）的区别，以及 business operation 作为 continuing 场景的恰当性；然后预告论文结构 （§2 相关工作 → §3 基准细节 → §4 结果与错误分析 → §5 结论）。
要点归纳
- 论文坐标是「continuing 任务评测缺失」：现有基准要么偏离真实市场动态，要么靠纯 LLM 对手 → 抽样噪声毁掉可信度与可复现性
- 双确定性是全文立身之本：结果差异「entirely belongs to the agent policy rather than to chance」
- 开篇即埋两个贯穿全文的梗：欺诈约 1/4 供应商；「最能赚钱 ≠ 最能谈判/最高效」
术语 / 概念
- episodic / continuing task（有终态 / 无终态任务） — RL 任务二分（Sutton & Barto 2018）； 本文用其组织长 horizon agentic 基准谱系
- deterministic negotiation kernel（确定性谈判内核） — 供应商侧固定策略决定价格/让步/ 接受，LLM 只渲染对话（详见 part-0003 / part-0009）
- asset multiplier（资产倍数） — 期末总资产 ÷ ¥100,000 初始本金，主分数
- Taobao & Tmall — 数据出处平台：6,886 商品、576 供应商、全年日历均以其日志校准
原句摘录
Business operations provide a natural continuing scenario with high-stakes, irreversible decisions, where compounding financial health tests sustained agent competence.
No sampling noise reaches the customers or the counterpart's pricing and accept/reject decisions, so a difference in outcome entirely belongs to the agent policy rather than to chance. Only the LLM renderer's wording varies between runs (§3.5.2).
GPT-5.6 Sol grows its capital roughly 14-fold, yet ranks 16th of 18 on fraud avoidance and earns less from a tool call than Fable5 does.
Reading six dimensions beside that total turns a leaderboard into a capability profile, and the profiles come out sharply divergent, the best earner being neither the best negotiator nor the efficient operator.
疑问 / 待查
- 摘要只报 GPT-5.6 Sol / Claude Opus 4.7 / Qwen3.8-Max-Preview 三家的数字，其余 15 家的分布 留到 §4（part-0004）
- 「the first open-source benchmark」的 first 主张依赖相关工作表（Table 1）的排他性，见 part-0002
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench（整理完成）"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
n12["part-0005 结论与参考文献（§5 + References）"]
n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
n21["The End of Software Engineering（整理完成）"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
n31["ch-0001 Introduction（为什么做数据可视化）"]
n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
n33["ch-0003 强化电子表格技能（Ch 2）"]
n34["ch-0004 找到并质询你的数据（Ch 3）"]
n35["ch-0005 清洗脏数据（Ch 4）"]
n36["ch-0006 做有意义的比较（Ch 5）"]
n37["ch-0007 图表化你的数据（Ch 6）"]
n38["ch-0008 地图化你的数据（Ch 7）"]
n39["ch-0009 表格化你的数据（Ch 8）"]
n40["ch-0010 嵌入网页（Ch 9）"]
n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
n43["ch-0013 Leaflet 地图模板（Ch 12）"]
n44["ch-0014 转换你的地图数据（Ch 13）"]
n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization（整理完成）"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../" "E-Commerce Bench（整理完成）"
click n7 "../notes/" "E-Commerce Bench 笔记"
click n8 "./" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
click n9 "../part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
click n10 "../part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
click n11 "../part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
click n12 "../part-0005/" "part-0005 结论与参考文献（§5 + References）"
click n13 "../part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
click n14 "../part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
click n15 "../part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
click n16 "../part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
click n17 "../part-0010/" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
click n18 "../part-0011/" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
click n19 "../part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
click n20 "../part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
click n21 "../../end-of-software-engineering/" "The End of Software Engineering（整理完成）"
click n22 "../../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
click n23 "../../end-of-software-engineering/part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
click n24 "../../end-of-software-engineering/part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
click n25 "../../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
click n26 "../../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
click n27 "../../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差（§5）"
click n28 "../../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
click n29 "../../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
click n30 "../../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
click n49 "../../" "Reading"