CHAPTER 09
交互与多模态
扩展观察空间与动作空间
一个 Agent 的能力上限，取决于它能“看到什么”(观察空间)和能“做什么”(动作空间)。默认的文本 + 工具只是最小集合。把感知扩展到视觉、语音、图形界面，把动作扩展到点击、拖拽、播报，Agent 才能进入 GUI 操作、实时助手、长时任务等新场景。
视觉
Computer Use / 截图感知
把屏幕截图作为观察，模型定位元素并输出点击/输入等动作，驱动任意图形界面——无需为每个 App 写 API。
语音
实时语音交互
ASR 输入 + TTS 输出构成低延迟对话；要处理打断、部分结果、端到端语音模型带来的更快但更不易控的取舍。
界面
GUI / 富元素动作
除坐标点击外，优先用可访问性树、DOM/语义元素、结构化控件定位，比纯像素更稳、更省 token。
扩展循环的形态（感知 → 决策 → 行动 → 观察）
- 观察：截图、UI 层级、音频帧、传感器/环境状态，而不仅是文本
- 决策：多模态提示需把“视觉/时序”信息压缩成模型可用的表征
- 行动：点击/输入/滚动/播报等有副作用的动作，需幂等与可回滚
- 反馈：执行后重新截图/测量，验证状态是否真的改变，形成闭环
多模态与 Computer Use 的风险与护栏
像素级操作易误点、误删、越权；实时语音对延迟敏感、纠错窗口小。务必：限定可操作范围、对破坏性动作要审批、记录轨迹便于回放、设置步数与时间预算。成本与延迟也会显著上升。
长时任务的“人机协作界面”
让 Agent 在长时间运行中主动：暂停并就关键决策征询人类、周期性汇报进度、遇到不确定时上抛而不是硬猜。可中断、可恢复、可观测，是把“自动”变成“可信自治”的关键。