15
CHAPTER 15

落地实战与踩坑经验

把方法论收敛成可执行清单

这一节把前面所有原则压缩成工程师真正能照着做的落地清单,覆盖设计、提示、工具、循环控制、成本与运维。

设计阶段
  • 先问“能不能不上 Agent”:优化单次调用 + 检索 + 示例是否就够
  • 定义清晰的成功标准与可验证信号(测试、rubric、解决率)
  • 明确人机边界:哪些动作需审批、哪些可自动执行
  • 规划停止条件、最大步数与预算,防止失控循环
提示与工具
  • 系统提示分区、最小高信号;few-shot 用经典示例而非边角堆料
  • 工具职责单一、文档为模型视角而写、参数防呆(绝对路径等)
  • 给 Agent 明确启发式:先盘点工具、按意图匹配、先广后窄
  • 让模型参与改进提示与工具描述,形成自我优化回路
循环、上下文与成本
  • 把上下文当稀缺资源:及时清理冗余工具输出、按需用 JIT 检索
  • 长任务用压缩 + 结构化笔记 + 子代理组合应对窗口限制
  • 并行化子代理与工具调用提速;用路由把简单问题分流给便宜模型
  • 跟踪每个任务的 token/成本/时延,用数据判断改动是否值得
高频翻车点(面试爱问)
① 死循环 / 重复劳动:缺步数预算与去重、缺清晰终止条件。② 工具选择混乱:描述含糊或功能重叠。③ 幻觉与跑偏:缺接地(检索/引用)与人审。④ 上下文膨胀:不压缩、不清理,导致注意力被稀释。⑤ 过度依赖框架黑箱:不理解底层提示/响应,难调试。⑥ 只在 Demo 光鲜、生产不稳:缺评测、可观测与灰度。
从 Demo 到生产的检验清单
有回归评测集 ☑ 全链路 tracing ☑ 沙箱与权限护栏 ☑ 成本/延迟监控 ☑ 灰度/rainbow 部署 ☑ 失败可恢复与幂等 ☑ 人工兜底与升级路径 ☑ 每个重复错误都已转成 Harness 控制。