CHAPTER 12
评测与可靠性
没有评测，就没有可靠的 Agent
评估(Agentic evaluation)是决定 Agent 能否上生产的关键。难点在于：Agent 非确定性，即使起点相同，也可能走完全不同的合理路径达到目标——你无法简单核对“是否走了标准步骤 Y”。因此要“灵活的评测”：既看结果对不对，也看过程合不合理。
尽早
从小样本立即开始
早期改动往往效果剧烈（一个提示把成功率从 30% 拉到 80%），几十个真实用例就能看出变化。别以“要几百条用例才有用”为借口拖延。
人工
人评能抓到自动化漏掉的
人类测试会发现幻觉边角、系统故障、来源选择偏差。例：早期 Agent 偏爱 SEO 内容农场而非权威来源，加“来源质量启发式”才解决。
可观测
生产级 tracing
Agent 动态决策、跨运行非确定，调试更难。加全量 trace、监控决策模式与交互结构（而非对话内容），才能系统性定位失败。
1
结果导向 + 过程导向并用
定义可衡量的成功标准（终态是否正确），同时抽查推理轨迹是否合理。
2
LLM-as-Judge + 规则校验
用强模型按 rubric 打分做规模化评审，配程序化断言（格式、引用、测试通过）兜底。评审维度可并行拆分。
3
回归集持续沉淀
把线上暴露的失败案例回灌成评测用例，形成“失败→用例→修复→防复发”的闭环。
4
沙箱 + 护栏 + 灰度
自主 Agent 必须在沙箱大量测试；用 rainbow/灰度部署，避免改动打断正在运行的有状态 Agent。
最后一公里 = 大半旅程
在开发者机器上能跑的 Demo，离可靠的生产系统往往差着大量工程。Agent 系统的错误是“复利式”的：一个步骤失败可能让 Agent 转向完全不同的轨迹，产生连锁的不可预测结果。原型与生产的差距，通常比想象中更大。