part-0003 基准设计:四层架构与确定性经济
- 输入来源: 本地 pdf 预提取文本(source-03.txt,arXiv:2608.30730v1 [cs.LG])
- 原文链接: https://arxiv.org/html/2608.30730v1
摘要
§3.1 Overview:agent 拿到商家账户、¥100,000 与 2026 年;任务 = 年底钱最多。先研究需求、 把供应商砍价、进货上架(≤4 店)、定价、读昨日销售、发货、吸收退货、在下一个经营成本落地前 提现。六维能力独立打分(§3.7)。四层架构:agent loop → tool → environment → data。
§3.2 Agent Loop Layer 三个机制:
- 回合循环与模拟时间:单回合内工具按序执行;episode 上限 4,000 回合,或连续 3 回合不调 工具提前结束。除跳日外每个工具花模拟分钟(查余额 10、开店 60),一天 600 分钟(08:00– 18:00);发消息一条 30 分钟(发给 1 家或 10 家同价)。时钟过 18:00 自动跳次日 08:00。 每次跳日跑同一固定流程(扣经营/仓储费、昨日需求转订单、取消超 2 日未发货、结算到期 escrow、 到货、更新声誉);agent 拿回四个薄信号:新闻、余额不够当日成本的提醒、当前时间、token 用量 警告
- 上下文管理:本地 tokenizer 统一按 128,000 token 预算计量;到 120,000 触发驱逐、目标释放 60,000,整组(assistant 消息 + 其所有工具结果)从最旧开始清;system、首个 user turn、最新 两组豁免。agent 被逐字告知该策略与阈值 → 把什么留在记忆里是它自己的选择
- 持久记忆:环境内最多 20 条的笔记库(title + content),驱逐够不着;agent 全权策展 (Reflexion / MemGPT / MemoryBank / cognitive architectures 系);读回便宜(分钟)但贵 (token,因为返回内容重新进入上下文并再次可被驱逐)→ 激励只保存高价值战略知识(历史成交价、 可疑供应商)
§3.3 Tool Layer:18 个工具分 7 组(市场调研 / 店铺运营 / 库存 / 财务 / 供应商谈判 / 记忆 / 时间推进,分钟成本见表 3 → part-0006)。工具列表是「预算」不是「菜单」:每天 30 分钟早间三查 = 一年 18 个工作日。只有 chatbox 能下单,每单位库存都从带 fenced negotiate 块的自由文本进来。
§3.4 Sales and Economy Engine:
- 多店:12 种店型、≤4 并行、每种一家;开店 ¥500 + ¥60–130/天;关店停扣、余货仍计仓储 (10% 残值清算);重开从头计声誉。市场查询只给 margin 低/中/高三档,真实可接受价只能谈出来
- 三账户延迟结算:成本当日从 bank 扣;销售先成 pending shipment,发货后 revenue(毛 ×0.98) 进 escrow,9 天到期进 platform wallet,显式 withdraw 才回 bank;退货从所属 escrow 批次扣。 例:40 件中价配件 ¥2,447 下单当天付、第 16 天才回第一笔现金。连续 10 天早间负余额 = 破产
- 确定性多因子需求模型:SKU 日需求 = 类目基数 × 价格响应 × 周末(×1.3) × 促销 × 季节 × 当日事件 × 声誉,再经类目与店铺两个容量天花板(Michaelis-Menten κ/(κ+D))截断、受架上库存 封顶。四种弹性族(linear / exponential / constant-elasticity / quadratic);quadratic 关于 reference 对称 → 深折价反而掉需求。容量项可主导一切:某配饰 SKU 促销周六复合期望 128.2 件 被截到实卖 9 件(类目项单杀 ×7.5)→ 堆同质 SKU = 自我蚕食
- 履约与退货:快送贵但退货少、大件运费更贵;超 2 日未发取消(库存回仓 + 声誉罚)。退货率 = 自然率 × 次品混合 × 定价曲线 × 运费档 四通道(次品 ≥0.40 或 2× 自然率、cap 0.95;定价 1.3× reference 乘 1.50;慢运乘 1.30)。退货在发货日决定、3–7 天后到达
- 声誉:volume goodwill(按累计发货量,开 0.5 首次结算重算成 0.353)+ service penalty (退货权重 0.6、取消 1.0),clamp [0.15, 1.0]、计数 ×0.85 衰减;卡在 0.15 的店只有满分店 15% 的需求
- 动态事件:10 个市场事件固定日期到达(乘数按店型、方向不一:风暴抬食品砍运动/时尚; 新闻到 feed 才知;促销提前一周预告但不给日期与规模,加入才知道),供应链事件拉长交期 ×2–5; 供应商按隐藏的成交订单数(10–20)退役 → 学会的地板会随对手消失
- 每日结算:13 步、先扣成本后认收入(每天低点测偿付);销售按前一日库存与定价 → agent 控制的是滞后一天的系统;退货先于到期 escrow 结算 → 一次退货能掏空即将支付的批次
§3.5 Deterministic Negotiation Engine:一单位货都要跟具名供应商逐条消息谈。会话 (s,j,c) 是不完全信息下的双边讨价还价(双方互不见底、floor 永不明示);ZOPA = 公开 reference vj 到私有 地板 cs_j;年度采购目标拆两项——从诚实供应商榨取的 surplus vs 付给欺诈供应商的损失(式 2)。 两技能互相拉扯:对诚实供应商赢 surplus 要强硬;拒欺诈要会走开——赢好价的强硬正是谈崩的来源。 Two-layer supplier design:内核层出全部经济决定(接受/放弃是随机化的、latent cue 带语气与 姿态、counter-offer 响应 agent 自己的让步速度 → 让步越快对手越硬);渲染层(小 LLM)只转述 决定、价格错 ±0.005 即不能成交,确定性 parser 从 fenced 块读 agent 的 offer/accept/reject (另有 ¥1,000 会员项目的 intent classifier)。诚实模板 6 种(concession reciprocity 与线索 泄露度不同),欺诈 5 种叠加在 hardest kernel preset 上(part-0009 详)。重复谈判:同对 新周期 = 新内核实例 + 新 seed,但类型与保留价不变;成交不自动回显 → agent 要么自己留价格历史 要么没有;供应商侧 deal log 让供应商「记得」。锚定每个重开价到已赢得最好价是核心技能 (AnchorRegret 度量)。欺诈:152/576 = 约 1/4(pre-deal 抬地板至 1.5×、post-deal 短发/ 次品),开场报价无信息量、模板潜伏 → 让步率形状是唯一谈判侧信号,接受过早即放弃线索。 谈判指标:CSE+ / %Oracle / AGR+(诚实会话内);BadSpend%(防欺诈按钱算);AnchorRegret / AnchorRatio / zanchor(重复采购纪律,permutation null)
§3.6 Data Layer:6,886 商品 / 60 类目 / 576 供应商(424 诚实 + 152 欺诈)/ 12 店型 (覆盖 9 到 1 个类目)/ 10 事件 + 8 促销;去敏直采平台 + 对日志分析手工合成(弹性族、季节曲线、 声誉参数、供应商属性)。促销名虚构(防模型凭记忆认出大促而非凭证据定价)。欺诈覆盖每条产品线 (每类目 ≥7 诚实 + ≥2 欺诈)。信息不对称:目录与自身结果可见,需求与地板参数不可见——查询 把数量换成标签(margin 等级、销售带、一句话退货说明);pre-deal 欺诈叙事里见、post-deal 只能 等货到;Table 7(part-0008)逐行定价发现路径
§3.7 Evaluation and Metrics:主分 = 年末总资产(bank + wallet + 未结 escrow)÷ 初始本金 = asset multiplier;破产截断的 run 照常进均值。六维各定一个排序指标与配套诊断:① Bargaining = CSE+(+ SE+ / %Oracle / AGR+ / rounds / deals);② Fraud avoidance = BadSpend%(钱不是拒绝率,
- 各骗局损失 / 会员费 / 接触-下单数);③ Solvency = DD/Peak(绝对回撤按规模归一,+ 破产数 / 透支天数 / 最深余额 / idle wallet / 最大仓);④ Efficiency = 利润均值 ÷ 工具调用均值(+ 调用 分八带 / turns / 驱逐次数 / memory 流量);⑤ Execution = controllable return rate(自己定价 在基准线上加的预期退货点,accrued at dispatch;排除欺诈次品,+ on-time / 取消 / 运费档 / 店数); ⑥ Learning = AnchorRatio(重复购买相对自己最好价的超付 ÷ 洗牌 null,+ AnchorRegret / NewLow / zanchor / 半年对比)
要点归纳
- 四层架构 = 把「评测工程」(回合控制、上下文、记忆)与「世界模拟」(经济、谈判)分开—— agent loop 层负责把一年塞进窗口并给模型公平的上下文预算
- 三账户设计是 cash-flow 维度的来源:盈利的 agent 也会破产(钱卡在 escrow/wallet)
- 「系统滞后一天 + 早间先扣成本」两个时序细节决定了正确策略的形状(前瞻补货、每日提现)
- 谈判引擎把「单会话技能」与「全年积累」分开设计:前者用 per-session surplus、后者用价格 下行速度——这是六维评测能分开归因的关键
术语 / 概念
- ZOPA(zone of possible agreement) — reference price 到私有成本地板之间的可成交区间
- three-account deferred settlement(三账户延迟结算) — bank / escrow / platform wallet
- two-layer supplier design — 确定性内核 + NPC 渲染层(防止 LLM 对手的可说服性作弊)
- demand saturation / cannibalization — 容量截断与同质 SKU 自我蚕食
- controllable return rate — 归因于 agent 定价的退货率增量(execution 维度排序指标)
- systematic information asymmetry(系统性信息不对称) — 标签替换数量、发现路径被定价
- CSE+ / BadSpend% / DD/Peak / AnchorRatio — 谈判/反欺诈/偿付/学习四个排序指标
原句摘录
A supplier played entirely by an LLM breaks that twice over. Sampling moves its prices from run to run, and it stays persuadable, so an eloquent enough agent can talk it below its own floor and turn the benchmark into a jailbreaking contest.
Money an agent has earned is not money it can spend.
Exploration and operation both cost time (§3.2), so the year rewards allocating discovery rather than exhausting it.
疑问 / 待查
- 四层架构对「上下文管理」的介入很深(逐字告知 eviction 策略)——模型对 harness 的顺应度 本身成为变量(part-0006 有驱逐统计)
- 「谈判 vs 欺诈」的能力矛盾(强硬赢价 ↔ 谈崩/激怒)被式 2 建模成同一现金约束下的权衡,是否 真实反映到结果排序见 part-0004
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信(第 2–163 章)"]
n1["ch-0002 坦白、出逃与和解(第 163–233 章)"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time(整理完成)"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench(整理完成)"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言:一年期电商运营基准(Abstract + §1)"]
n9["part-0002 相关工作与定位:continuing 任务谱系(Table 1 + §2)"]
n10["part-0003 基准设计:四层架构与确定性经济(§3 主体)"]
n11["part-0004 实验结果:18 模型的多维画像(Table 2 + §4)"]
n12["part-0005 结论与参考文献(§5 + References)"]
n13["part-0006 工具集与 agent harness:18 工具与上下文管理(Table 3 + Appendix A)"]
n14["part-0007 数据层:类目、店型、日历与供应商(Appendix B)"]
n15["part-0008 经济引擎:13 步结算与需求/退货/成本公式(Table 7 + Appendix C)"]
n16["part-0009 确定性谈判内核:决策函数与骗局目录(Appendix D)"]
n17["part-0010 评测指标定义:六个维度与统计口径(Appendix E)"]
n18["part-0011 每维度结果导览与模型/实验设置(Table 10 + Appendix F)"]
n19["part-0012 失败案例研究:骗局实录与一次破产(Appendix G)"]
n20["part-0013 失败模式规则表与提示词设计(Table 18 + Appendix H)"]
n21["The End of Software Engineering(整理完成)"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言:范式重构的宣告(Abstract + §1 前段)"]
n24["part-0002 第一性原理:传统软件与 Agent 系统的形式化模型(§1 后段 + §2)"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败(§3.1–3.2)"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科(§3.3 + §4)"]
n27["part-0005 实证证据与 EvoClaw 落差(§5)"]
n28["part-0006 四阶段演进路线图(前段:表 3 + Stage I–III)"]
n29["part-0007 路线图后段与建议:实践者与研究者(§6.3 后段 + §6.4 + §7.1–7.2)"]
n30["part-0008 组织建议、结论与参考文献(§7.3 + §8)"]
n31["ch-0001 Introduction(为什么做数据可视化)"]
n32["ch-0002 选工具讲你的数据故事(Ch 1)"]
n33["ch-0003 强化电子表格技能(Ch 2)"]
n34["ch-0004 找到并质询你的数据(Ch 3)"]
n35["ch-0005 清洗脏数据(Ch 4)"]
n36["ch-0006 做有意义的比较(Ch 5)"]
n37["ch-0007 图表化你的数据(Ch 6)"]
n38["ch-0008 地图化你的数据(Ch 7)"]
n39["ch-0009 表格化你的数据(Ch 8)"]
n40["ch-0010 嵌入网页(Ch 9)"]
n41["ch-0011 用 GitHub 编辑与托管代码(Ch 10)"]
n42["ch-0012 Chart.js 与 Highcharts 模板(Ch 11)"]
n43["ch-0013 Leaflet 地图模板(Ch 12)"]
n44["ch-0014 转换你的地图数据(Ch 13)"]
n45["ch-0015 识别谎言、减少偏差(Ch 14)"]
n46["ch-0016 讲述并展示你的数据故事(Ch 15)"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization(整理完成)"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信(第 2–163 章)"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解(第 163–233 章)"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time(整理完成)"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../" "E-Commerce Bench(整理完成)"
click n7 "../notes/" "E-Commerce Bench 笔记"
click n8 "../part-0001/" "part-0001 摘要与引言:一年期电商运营基准(Abstract + §1)"
click n9 "../part-0002/" "part-0002 相关工作与定位:continuing 任务谱系(Table 1 + §2)"
click n10 "./" "part-0003 基准设计:四层架构与确定性经济(§3 主体)"
click n11 "../part-0004/" "part-0004 实验结果:18 模型的多维画像(Table 2 + §4)"
click n12 "../part-0005/" "part-0005 结论与参考文献(§5 + References)"
click n13 "../part-0006/" "part-0006 工具集与 agent harness:18 工具与上下文管理(Table 3 + Appendix A)"
click n14 "../part-0007/" "part-0007 数据层:类目、店型、日历与供应商(Appendix B)"
click n15 "../part-0008/" "part-0008 经济引擎:13 步结算与需求/退货/成本公式(Table 7 + Appendix C)"
click n16 "../part-0009/" "part-0009 确定性谈判内核:决策函数与骗局目录(Appendix D)"
click n17 "../part-0010/" "part-0010 评测指标定义:六个维度与统计口径(Appendix E)"
click n18 "../part-0011/" "part-0011 每维度结果导览与模型/实验设置(Table 10 + Appendix F)"
click n19 "../part-0012/" "part-0012 失败案例研究:骗局实录与一次破产(Appendix G)"
click n20 "../part-0013/" "part-0013 失败模式规则表与提示词设计(Table 18 + Appendix H)"
click n21 "../../end-of-software-engineering/" "The End of Software Engineering(整理完成)"
click n22 "../../end-of-software-engineering/notes/" "The End of Software Engineering 笔记"
click n23 "../../end-of-software-engineering/part-0001/" "part-0001 摘要与引言:范式重构的宣告(Abstract + §1 前段)"
click n24 "../../end-of-software-engineering/part-0002/" "part-0002 第一性原理:传统软件与 Agent 系统的形式化模型(§1 后段 + §2)"
click n25 "../../end-of-software-engineering/part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败(§3.1–3.2)"
click n26 "../../end-of-software-engineering/part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科(§3.3 + §4)"
click n27 "../../end-of-software-engineering/part-0005/" "part-0005 实证证据与 EvoClaw 落差(§5)"
click n28 "../../end-of-software-engineering/part-0006/" "part-0006 四阶段演进路线图(前段:表 3 + Stage I–III)"
click n29 "../../end-of-software-engineering/part-0007/" "part-0007 路线图后段与建议:实践者与研究者(§6.3 后段 + §6.4 + §7.1–7.2)"
click n30 "../../end-of-software-engineering/part-0008/" "part-0008 组织建议、结论与参考文献(§7.3 + §8)"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction(为什么做数据可视化)"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事(Ch 1)"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能(Ch 2)"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据(Ch 3)"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据(Ch 4)"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较(Ch 5)"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据(Ch 6)"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据(Ch 7)"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据(Ch 8)"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页(Ch 9)"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码(Ch 10)"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板(Ch 11)"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板(Ch 12)"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据(Ch 13)"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差(Ch 14)"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事(Ch 15)"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization(整理完成)"
click n49 "../../" "Reading"