part-0005 实证证据与 EvoClaw 落差
- 输入来源: 本地 pdf 预提取文本（source-05.txt，arXiv:2606.05608v1 [cs.SE]）
- 原文链接: https://arxiv.org/html/2606.05608v1
摘要
§5.1 突破性结果（四个数据点）：
- SWE-bench Verified：Ma et al. [5] 的 Lingma SWE-GPT 72B——一个开放、以开发过程 （development-process-centric）而非静态代码为中心训练的模型——解决 SWE-bench Verified 上 30.20% 的 GitHub issues，逼近 GPT-4o 的 31.80% 且完全开放；连 7B 小模型也解决 18.20%，证明小模型用过程数据训练也能做有意义的自动化软件工程。这比近 6 倍大的 Llama 3.1 405B 相对提升 22.76%
- 多智能体协同：Kumar & Ramagopal [7] 报告在 20+ 企业级 debugging 工作流中部署协调 agent 群（coordinated agent swarms）的试点：根因定位时间下降 93%，单月省下 200+ 工程小时。关键：收益不来自单个 agent 更强，而来自 orchestration——跨 agent 维持共享上下文、并行调查、交叉验证发现
- 自进化：Hermes Agent [14]（Nous Research 开源框架，179,000+ GitHub stars）在 生产系统中给出自进化原则最完整的实现：闭环学习（closed learning loop）——复杂任务 后自主创建可复用 Skills（参数化过程模块捕获成功策略），使用中发现不足即自动修补； create → use → detect weakness → self-patch 全程无人介入。跨会话连续性靠 FTS5-backed 会话检索 + LLM 摘要；subagent delegation 机制展示生产级早期多智能体协调
- 泛化性：Wang et al. [4] 编目数百项研究，agent 已覆盖软件全生命周期——需求分析、 架构设计、代码生成、测试、调试、部署、维护——说明 agentic 模式不限于窄任务
§5.2 持续的挑战——EvoClaw 基准 [6]（Deng et al. 构建）给出最冷静的数据：评测的不是 孤立的 issue 修复，而是 continuous software evolution——跨 commit 历史持续开发， 每步须保持系统完整、且错误会累积。关键发现：isolated tasks 上 >80% 的成绩跌到 continuous settings 上最多 38%（基于 12 个前沿模型 × 4 个 agent 框架，图 2 显示 82 → 38、-54%）， 暴露 agent 在长期维护与错误传播上的深度困难。四个核心缺陷：
- Context drift（上下文漂移）：代码库超出有效上下文窗口后，agent 丢失对系统级 invariant 与依赖的一致理解
- Error propagation（错误传播）：早期 commit 的小错在后继工作中级联成叠加性失败， agent 缺少检测与恢复机制
- Technical debt awareness（技术债意识）：agent 不为设计决策的长期成本建模，只优化 即时任务完成、不考虑可维护性
- Verification fidelity（验证保真度）：自动化测试仍不完整——agent 能过测试却引入 只在全新输入下才显现的隐蔽语义错误
§5.3 差距分析：isolated（>80%）与 continuous（\<38%）之间的落差，量化了当前 agent 能力与「全自主软件工程」门槛的距离。作者判断该差距不是根本性的——它反映的是 context management、memory architecture、verification 机制这些活跃研究领域当前的局限； 但作为校准：agentic engineering 今天作为 augmentation 范式已真实且具变革性，完全 自主的软件开发要可靠进入生产，仍需数年集中研究。
要点归纳
- 证据策略刻意「两头都给」：突破用 best-in-class 数据（SWE-bench 逼近 GPT-4o、93%、 179k stars），局限用 EvoClaw 的断崖（>80% → ≤38%）——支撑「变革真实但未到全自主」 的中间结论
- EvoClaw 是全文最有力的校准信号：isolated 与 continuous 的落差直接定义了路线图后段 与研究者议程（§6–7）
- 四个缺陷（drift / propagation / tech-debt / fidelity）其实为 §7.2 研究者议程埋了伏笔
术语 / 概念
- SWE-bench Verified — 从真实 GitHub issue 解析中评测模型的基准（resolve rate）
- development-process-centric model（开发过程中心模型） — Lingma SWE-GPT 的训练路线： 学「开发过程」而非只学静态代码
- continuous software evolution（连续软件演化） — EvoClaw 的评测设定：跨 commit 持续 开发、错误累积、须维持系统完整性
- closed learning loop（闭环学习） — Hermes Agent 的自进化机制：create → use → detect weakness → self-patch
- context drift / error propagation（上下文漂移 / 错误传播） — 长程开发的两大失效模式
- verification fidelity（验证保真度） — 评测盲区：能过测试但带隐蔽语义错误
原句摘录
"Overall performance scores drop significantly from > 80% on isolated tasks to at most 38% in continuous settings, exposing agents' profound struggle with long-term maintenance and error propagation." [6]
The gap between isolated-task performance (> 80%) and continuous-evolution performance (< 38%) quantifies the distance between current agent capability and the threshold for fully autonomous software engineering. … it serves as an important calibration: agentic engineering is real and transformative today as an augmentation paradigm, but will require several more years of concentrated research before fully autonomous software development becomes reliable in production settings.
疑问 / 待查
- 数据多转引自他人（[5][6][7]），如引用应回到原始出处核对（数字核验见 notes.md 待查线索）
Backlinks (1)
flowchart LR
n0["ch-0001 凶案、侦探与母亲的信（第 2–163 章）"]
n1["ch-0002 坦白、出逃与和解（第 163–233 章）"]
n2["The Curious Incident of the Dog in the Night-Time 人物"]
n3["The Curious Incident of the Dog in the Night-Time（整理完成）"]
n4["The Curious Incident of the Dog in the Night-Time 笔记"]
n5["The Curious Incident of the Dog in the Night-Time 故事线"]
n6["E-Commerce Bench（整理完成）"]
n7["E-Commerce Bench 笔记"]
n8["part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"]
n9["part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"]
n10["part-0003 基准设计：四层架构与确定性经济（§3 主体）"]
n11["part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"]
n12["part-0005 结论与参考文献（§5 + References）"]
n13["part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"]
n14["part-0007 数据层：类目、店型、日历与供应商（Appendix B）"]
n15["part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"]
n16["part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"]
n17["part-0010 评测指标定义：六个维度与统计口径（Appendix E）"]
n18["part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"]
n19["part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"]
n20["part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"]
n21["The End of Software Engineering（整理完成）"]
n22["The End of Software Engineering 笔记"]
n23["part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"]
n24["part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"]
n25["part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"]
n26["part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"]
n27["part-0005 实证证据与 EvoClaw 落差（§5）"]
n28["part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"]
n29["part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"]
n30["part-0008 组织建议、结论与参考文献（§7.3 + §8）"]
n31["ch-0001 Introduction（为什么做数据可视化）"]
n32["ch-0002 选工具讲你的数据故事（Ch 1）"]
n33["ch-0003 强化电子表格技能（Ch 2）"]
n34["ch-0004 找到并质询你的数据（Ch 3）"]
n35["ch-0005 清洗脏数据（Ch 4）"]
n36["ch-0006 做有意义的比较（Ch 5）"]
n37["ch-0007 图表化你的数据（Ch 6）"]
n38["ch-0008 地图化你的数据（Ch 7）"]
n39["ch-0009 表格化你的数据（Ch 8）"]
n40["ch-0010 嵌入网页（Ch 9）"]
n41["ch-0011 用 GitHub 编辑与托管代码（Ch 10）"]
n42["ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"]
n43["ch-0013 Leaflet 地图模板（Ch 12）"]
n44["ch-0014 转换你的地图数据（Ch 13）"]
n45["ch-0015 识别谎言、减少偏差（Ch 14）"]
n46["ch-0016 讲述并展示你的数据故事（Ch 15）"]
n47["ch-0017 附录 A 排查常见问题"]
n48["Hands-On Data Visualization（整理完成）"]
n49["Reading"]
n0 --> n4
n3 --> n0
n3 --> n1
n3 --> n2
n3 --> n4
n3 --> n5
n5 --> n3
n6 --> n7
n6 --> n8
n6 --> n9
n6 --> n10
n6 --> n11
n6 --> n12
n6 --> n13
n6 --> n14
n6 --> n15
n6 --> n16
n6 --> n17
n6 --> n18
n6 --> n19
n6 --> n20
n21 --> n22
n21 --> n23
n21 --> n24
n21 --> n25
n21 --> n26
n21 --> n27
n21 --> n28
n21 --> n29
n21 --> n30
n22 --> n21
n30 --> n22
n48 --> n31
n48 --> n32
n48 --> n33
n48 --> n34
n48 --> n35
n48 --> n36
n48 --> n37
n48 --> n38
n48 --> n39
n48 --> n40
n48 --> n41
n48 --> n42
n48 --> n43
n48 --> n44
n48 --> n45
n48 --> n46
n48 --> n47
n49 --> n3
n49 --> n6
n49 --> n21
n49 --> n48
click n0 "../../curious-incident/ch-0001/" "ch-0001 凶案、侦探与母亲的信（第 2–163 章）"
click n1 "../../curious-incident/ch-0002/" "ch-0002 坦白、出逃与和解（第 163–233 章）"
click n2 "../../curious-incident/characters/" "The Curious Incident of the Dog in the Night-Time 人物"
click n3 "../../curious-incident/" "The Curious Incident of the Dog in the Night-Time（整理完成）"
click n4 "../../curious-incident/notes/" "The Curious Incident of the Dog in the Night-Time 笔记"
click n5 "../../curious-incident/storyline/" "The Curious Incident of the Dog in the Night-Time 故事线"
click n6 "../../e-commerce-bench/" "E-Commerce Bench（整理完成）"
click n7 "../../e-commerce-bench/notes/" "E-Commerce Bench 笔记"
click n8 "../../e-commerce-bench/part-0001/" "part-0001 摘要与引言：一年期电商运营基准（Abstract + §1）"
click n9 "../../e-commerce-bench/part-0002/" "part-0002 相关工作与定位：continuing 任务谱系（Table 1 + §2）"
click n10 "../../e-commerce-bench/part-0003/" "part-0003 基准设计：四层架构与确定性经济（§3 主体）"
click n11 "../../e-commerce-bench/part-0004/" "part-0004 实验结果：18 模型的多维画像（Table 2 + §4）"
click n12 "../../e-commerce-bench/part-0005/" "part-0005 结论与参考文献（§5 + References）"
click n13 "../../e-commerce-bench/part-0006/" "part-0006 工具集与 agent harness：18 工具与上下文管理（Table 3 + Appendix A）"
click n14 "../../e-commerce-bench/part-0007/" "part-0007 数据层：类目、店型、日历与供应商（Appendix B）"
click n15 "../../e-commerce-bench/part-0008/" "part-0008 经济引擎：13 步结算与需求/退货/成本公式（Table 7 + Appendix C）"
click n16 "../../e-commerce-bench/part-0009/" "part-0009 确定性谈判内核：决策函数与骗局目录（Appendix D）"
click n17 "../../e-commerce-bench/part-0010/" "part-0010 评测指标定义：六个维度与统计口径（Appendix E）"
click n18 "../../e-commerce-bench/part-0011/" "part-0011 每维度结果导览与模型/实验设置（Table 10 + Appendix F）"
click n19 "../../e-commerce-bench/part-0012/" "part-0012 失败案例研究：骗局实录与一次破产（Appendix G）"
click n20 "../../e-commerce-bench/part-0013/" "part-0013 失败模式规则表与提示词设计（Table 18 + Appendix H）"
click n21 "../" "The End of Software Engineering（整理完成）"
click n22 "../notes/" "The End of Software Engineering 笔记"
click n23 "../part-0001/" "part-0001 摘要与引言：范式重构的宣告（Abstract + §1 前段）"
click n24 "../part-0002/" "part-0002 第一性原理：传统软件与 Agent 系统的形式化模型（§1 后段 + §2）"
click n25 "../part-0003/" "part-0003 三代交付史与 AI→Software→Result 的失败（§3.1–3.2）"
click n26 "../part-0004/" "part-0004 Agent→Result 与 Agentic Engineering 学科（§3.3 + §4）"
click n27 "./" "part-0005 实证证据与 EvoClaw 落差（§5）"
click n28 "../part-0006/" "part-0006 四阶段演进路线图（前段：表 3 + Stage I–III）"
click n29 "../part-0007/" "part-0007 路线图后段与建议：实践者与研究者（§6.3 后段 + §6.4 + §7.1–7.2）"
click n30 "../part-0008/" "part-0008 组织建议、结论与参考文献（§7.3 + §8）"
click n31 "../../hands-on-data-visualization/ch-0001/" "ch-0001 Introduction（为什么做数据可视化）"
click n32 "../../hands-on-data-visualization/ch-0002/" "ch-0002 选工具讲你的数据故事（Ch 1）"
click n33 "../../hands-on-data-visualization/ch-0003/" "ch-0003 强化电子表格技能（Ch 2）"
click n34 "../../hands-on-data-visualization/ch-0004/" "ch-0004 找到并质询你的数据（Ch 3）"
click n35 "../../hands-on-data-visualization/ch-0005/" "ch-0005 清洗脏数据（Ch 4）"
click n36 "../../hands-on-data-visualization/ch-0006/" "ch-0006 做有意义的比较（Ch 5）"
click n37 "../../hands-on-data-visualization/ch-0007/" "ch-0007 图表化你的数据（Ch 6）"
click n38 "../../hands-on-data-visualization/ch-0008/" "ch-0008 地图化你的数据（Ch 7）"
click n39 "../../hands-on-data-visualization/ch-0009/" "ch-0009 表格化你的数据（Ch 8）"
click n40 "../../hands-on-data-visualization/ch-0010/" "ch-0010 嵌入网页（Ch 9）"
click n41 "../../hands-on-data-visualization/ch-0011/" "ch-0011 用 GitHub 编辑与托管代码（Ch 10）"
click n42 "../../hands-on-data-visualization/ch-0012/" "ch-0012 Chart.js 与 Highcharts 模板（Ch 11）"
click n43 "../../hands-on-data-visualization/ch-0013/" "ch-0013 Leaflet 地图模板（Ch 12）"
click n44 "../../hands-on-data-visualization/ch-0014/" "ch-0014 转换你的地图数据（Ch 13）"
click n45 "../../hands-on-data-visualization/ch-0015/" "ch-0015 识别谎言、减少偏差（Ch 14）"
click n46 "../../hands-on-data-visualization/ch-0016/" "ch-0016 讲述并展示你的数据故事（Ch 15）"
click n47 "../../hands-on-data-visualization/ch-0017/" "ch-0017 附录 A 排查常见问题"
click n48 "../../hands-on-data-visualization/" "Hands-On Data Visualization（整理完成）"
click n49 "../../" "Reading"