核心见解:Agent Harness Engineering: A Survey
这篇论文最重要的价值不是给出了七层分类法,而是它正式定义了一个新工程领域——就像 2010 年代 DevOps 从运维中独立出来一样。
核心思想:框架 > 模型
为什么框架比模型更重要?
论文通过三个真实案例建立了这一论点:
-
Bölük (2026a):仅修改编辑工具格式(从 diff 格式改成面向 agent 的格式),不碰模型,15 个前沿模型在编码基准上的准确率提升高达 10 倍。这个改进幅度远超同期任何模型级的进步(典型模型级提升为 2-4 个百分点)。
-
Trivedy (2026) / LangChain DeepAgents:固定使用 GPT-5.2-Codex,通过重写系统提示、注入中间件上下文、添加自验证钩子,使 Terminal-Bench 2.0 分数从 52.8% 提升到 66.5%。+13.7 个百分点,全部来自框架工程。
-
Meta-Harness (Lee et al., 2026):使用自动化框架优化(不需要动模型权重),在 Terminal-Bench-2 上达到 76.4%,超越了所有手工设计的方案。
含义:如果你的 agent 表现不好,先别换模型,先检查你的框架。
工程三阶段演化
论文提出的历史框架很有洞察力:
| 时代 | 焦点 | 典型问题 |
|---|---|---|
| Prompt Engineering (2022-2023) | 提示怎么写? | 单轮推理,无状态 |
| Context Engineering (2023-2024) | 上下文如何组织? | 多轮对话,工具使用 |
| Harness Engineering (2025-) | 基础设施如何设计? | 长程任务 + 可靠性 + 安全 |
这个演化的本质是:问题从”模型的输出质量”转移到了”系统的设计质量”。
ETCLOVG 框架:为何这七个层?
最关键的创新点:将可观测性和治理提升到独立层级
已有框架(如 agent 框架的 6 组件模型)通常把可观测性当作生命周期钩子的副产品,把治理当作安全配置。这篇论文认为:
- 可观测性 (O) 有自己的工具栈(OpenTelemetry, Langfuse)和专用团队
- 治理 (G) 有自己的基础设施(权限引擎、API 网关、审计管线)
把它们独立出来,反映了生产部署的团队结构而非学术分类法——谁拥有什么层就画什么层。
各层要点速览
| 层 | 核心问题 | 代表性项目 |
|---|---|---|
| E 执行环境 | agent 在哪里运行? | E2B, Daytona, Docker Sandboxes, Judge0 |
| T 工具接口 | agent 怎么调用工具? | MCP, A2A, 工具发现与选择 |
| C 上下文管理 | agent 记得什么、忘了什么? | 短期窗口、中期会话、长期记忆系统 |
| L 生命周期编排 | agent 的运行流如何组织? | 单 agent 循环、多 agent 编排 |
| O 可观测性 | agent 做了什么?为什么? | 追迹、监控、成本追踪 |
| V 验证评估 | agent 做对了吗? | 多级判断、失败归因、持续回归 |
| G 治理安全 | 如何防范 agent 做坏事? | 权限模型、生命周期钩子、规范性宪法 |
三个核心权衡:为什么工程是妥协的艺术
1. 成本-质量-速度三角
质量
/\
/ \
成本----速度
- 高精度 (CoT + 多次采样) → 高成本 + 慢速
- 低成本 (单次 prompt) → 低质量
- 快速 (流式输出) → 质量不足
- 框架的设计决定了这个三角的操作点
2. 能力-控制权衡
给 agent 越多权限和能力,就越难确保它按要求行事。沙箱的两个面孔:
- 沙箱是牢笼:限制 agent 的破坏范围
- 沙箱也是许可证:在沙箱内 agent 可以自由操作
Claude Code 沙箱化后权限提示减少了 84%——这是通过沙箱获得自由度而非失去自由度的典型案例。
3. 框架耦合问题
agent 逻辑和框架越耦合,更换任何一方都越困难。论文观察到的趋势:
- 早期:紧耦合(框架 X + 模型 Y,换一个都得重写)
- 理想:通过抽象层解耦(如 MCP 标准化工具接口)
对 Hermes Agent 的启示
这篇论文对我们直接相关:
- Hermes Agent 本身就是一个 agent harness,覆盖了 E(WSL/terminal)、T(工具接口)、C(记忆系统)、L(生命周期/cronjob)、O(可观测性尚浅)、V(验证待加强)、G(治理待加强)
- 论文提出的跨层综合刚好帮我们定位 Hermes 在各个层的成熟度
- “框架耦合问题”解释了为什么 Hermes 的 skill 系统和 MCP 集成很重要
局限性
- 语料库偏见:偏向 GitHub 可见的开源项目,商业内部框架被低估
- 编码 agent 过采样:因为编码 agent 有丰富的公开轨迹,其他类型的 agent 可能被忽视
- 层分配基于文档:某些项目可能实现了某些功能但没有公开文档,导致被遗漏
- 单编码员协议:没有多编码员一致性研究(无 Cohen’s kappa)
- 快速发展的领域:2026 年的调查可能几个月后就过时