核心见解:Agent Harness Engineering: A Survey

这篇论文最重要的价值不是给出了七层分类法,而是它正式定义了一个新工程领域——就像 2010 年代 DevOps 从运维中独立出来一样。

核心思想:框架 > 模型

为什么框架比模型更重要?

论文通过三个真实案例建立了这一论点:

  1. Bölük (2026a):仅修改编辑工具格式(从 diff 格式改成面向 agent 的格式),不碰模型,15 个前沿模型在编码基准上的准确率提升高达 10 倍。这个改进幅度远超同期任何模型级的进步(典型模型级提升为 2-4 个百分点)。

  2. Trivedy (2026) / LangChain DeepAgents:固定使用 GPT-5.2-Codex,通过重写系统提示、注入中间件上下文、添加自验证钩子,使 Terminal-Bench 2.0 分数从 52.8% 提升到 66.5%。+13.7 个百分点,全部来自框架工程

  3. Meta-Harness (Lee et al., 2026):使用自动化框架优化(不需要动模型权重),在 Terminal-Bench-2 上达到 76.4%,超越了所有手工设计的方案

含义:如果你的 agent 表现不好,先别换模型,先检查你的框架。

工程三阶段演化

论文提出的历史框架很有洞察力:

时代焦点典型问题
Prompt Engineering (2022-2023)提示怎么写?单轮推理,无状态
Context Engineering (2023-2024)上下文如何组织?多轮对话,工具使用
Harness Engineering (2025-)基础设施如何设计?长程任务 + 可靠性 + 安全

这个演化的本质是:问题从”模型的输出质量”转移到了”系统的设计质量”

ETCLOVG 框架:为何这七个层?

最关键的创新点:将可观测性和治理提升到独立层级

已有框架(如 agent 框架的 6 组件模型)通常把可观测性当作生命周期钩子的副产品,把治理当作安全配置。这篇论文认为:

  • 可观测性 (O) 有自己的工具栈(OpenTelemetry, Langfuse)和专用团队
  • 治理 (G) 有自己的基础设施(权限引擎、API 网关、审计管线)

把它们独立出来,反映了生产部署的团队结构而非学术分类法——谁拥有什么层就画什么层。

各层要点速览

核心问题代表性项目
E 执行环境agent 在哪里运行?E2B, Daytona, Docker Sandboxes, Judge0
T 工具接口agent 怎么调用工具?MCP, A2A, 工具发现与选择
C 上下文管理agent 记得什么、忘了什么?短期窗口、中期会话、长期记忆系统
L 生命周期编排agent 的运行流如何组织?单 agent 循环、多 agent 编排
O 可观测性agent 做了什么?为什么?追迹、监控、成本追踪
V 验证评估agent 做对了吗?多级判断、失败归因、持续回归
G 治理安全如何防范 agent 做坏事?权限模型、生命周期钩子、规范性宪法

三个核心权衡:为什么工程是妥协的艺术

1. 成本-质量-速度三角

    质量
    /\
   /  \
成本----速度
  • 高精度 (CoT + 多次采样) → 高成本 + 慢速
  • 低成本 (单次 prompt) → 低质量
  • 快速 (流式输出) → 质量不足
  • 框架的设计决定了这个三角的操作点

2. 能力-控制权衡

给 agent 越多权限和能力,就越难确保它按要求行事。沙箱的两个面孔:

  • 沙箱是牢笼:限制 agent 的破坏范围
  • 沙箱也是许可证:在沙箱内 agent 可以自由操作

Claude Code 沙箱化后权限提示减少了 84%——这是通过沙箱获自由度而非失去自由度的典型案例。

3. 框架耦合问题

agent 逻辑和框架越耦合,更换任何一方都越困难。论文观察到的趋势:

  • 早期:紧耦合(框架 X + 模型 Y,换一个都得重写)
  • 理想:通过抽象层解耦(如 MCP 标准化工具接口)

对 Hermes Agent 的启示

这篇论文对我们直接相关

  • Hermes Agent 本身就是一个 agent harness,覆盖了 E(WSL/terminal)、T(工具接口)、C(记忆系统)、L(生命周期/cronjob)、O(可观测性尚浅)、V(验证待加强)、G(治理待加强)
  • 论文提出的跨层综合刚好帮我们定位 Hermes 在各个层的成熟度
  • “框架耦合问题”解释了为什么 Hermes 的 skill 系统和 MCP 集成很重要

局限性

  1. 语料库偏见:偏向 GitHub 可见的开源项目,商业内部框架被低估
  2. 编码 agent 过采样:因为编码 agent 有丰富的公开轨迹,其他类型的 agent 可能被忽视
  3. 层分配基于文档:某些项目可能实现了某些功能但没有公开文档,导致被遗漏
  4. 单编码员协议:没有多编码员一致性研究(无 Cohen’s kappa)
  5. 快速发展的领域:2026 年的调查可能几个月后就过时

相关笔记