大模型智能体综合复习：系统评估与故障归因

贯穿任务：从设备照片到维护工单

用户上传实验室泵的照片并要求“查手册，判断是否需要维护，帮我约技术人员”。系统需要识别铭牌和设备实体，检索正确型号及版本的手册和单位政策，区分可由证据支持的维护建议与需要专业检查的事项，查询资产和日程，生成工单草案，并在用户审批后提交。

成功条件不是“回复流畅”。至少包括：设备实体没有混淆；每个关键声明由适用且新鲜的来源支持；不把照片推测写成确定故障；工具参数正确；没有越权或重复副作用；审批绑定最终设备与时间；服务器返回可追踪工单 ID；遇到信息不足时询问或转人工。

这条链同时使用语言模型、指令适配、视觉语言表示、检索增强、工具、记忆和规划。任一组件分数高都不能替代端到端验收。相关论文资源分别支持指令适配、图文对齐、检索生成和交替决策—行动的具体研究范围，不构成生产可靠性或安全保证。

语言模型提供条件生成，不提供外部状态

基础语言模型根据 token 前缀形成下一 token 分布。它可以解析用户意图、改写查询和生成说明，但参数中的关联不能确认当前设备、手册版本、库存或日程。低困惑度和流畅文本也不等于事实、权限或任务完成。

tokenizer、上下文窗口和采样配置影响长任务。视觉转录、检索片段、工具 schema、轨迹和记忆争夺上下文预算；截断若丢掉否定、设备后缀或审批条件，会改变动作。应结构化保留关键字段，把长证据留在外部存储并按来源引用，而不是无限堆入提示。

指令适配让模型更可能遵守角色、格式和拒答规则，却学习的是示范和偏好分布。若训练偏好奖励“给出直接答案”，模型可能在证据不足时过早下结论。评价要加入澄清、拒绝越权、证据冲突和长任务恢复，而非只测常规问答。

视觉语言步骤输出候选与证据区域

设备照片可能模糊、反光、裁剪或含多个铭牌。视觉模块应输出型号候选、可见文本、区域坐标和不确定项，而不是只给一个设备名称。光学字符识别与图文嵌入利用不同信号：前者擅长精确编号，后者可用外观召回候选；两者冲突时应回看原图或询问用户。

例 1：从两个型号候选进入澄清

照片铭牌可读为“PX-310”，资产库却有 PX-310A 与 PX-310B，两者手册不同。视觉步骤记录字符串、铭牌框和两个候选，不直接选相似度最高者。资产查询显示 A 在二楼、B 在三楼，而用户只说“实验室的泵”。

计划应询问楼层或要求补拍后缀。用户确认三楼后，状态绑定 PX-310B 的资产 ID；后续检索只使用 B 的手册。若在第一步猜 A，后续每个引用和工单都可能形式正确却指向错误实体。

图像中的文字也可能含恶意指令或无关标语。它是视觉数据，不具有系统权限。视觉模型的相似度不是设备身份概率；若要校准候选置信度，需要独立标注集并保留未知型号选项。

检索链要把声明映射回来源

查询至少带设备型号、手册类型、组织政策和版本时间。稀疏检索适合精确型号，稠密检索适合同义故障描述，两阶段重排可综合。召回到“泵手册”不够，必须检查型号、修订版、适用地区和访问权限。

回答中的每个可核查声明应指向具体片段、文档版本和位置。证据正确有四层：相关证据被召回；生成实际使用了它；引用支持对应声明；来源本身适用且新鲜。引用一个存在的文档不能替代逐声明支持。

例 2：手算声明级引用指标

构造一个仅用于演示指标的回答，含三条需要证据的声明。声明一和二有引用，其中只有声明一被对应片段支持；声明三没有引用。则引用声明中的支持精确率为 $1/2$，需要证据声明的支持完整率为 $1/3$。

若声明二是“可在通电时拆盖”的高风险错误，即使总体文字大部分正确，端到端任务也应失败。这个算例不代表任何真实系统成绩，只说明平均比例不能覆盖关键不支持声明。

来源冲突时系统要展示冲突和版本，而非由语言模型凭语气选择。证据不足应生成待确认项，不得从长期记忆或模型参数补成确定事实。

工具调用把文本变成外部副作用

只读工具包括资产、库存、日程与工单状态查询；写工具包括创建工单、预约和发送通知。每个工具有 schema、权限、超时、幂等和错误类型。执行器验证参数与用户范围，模型不能通过自然语言绕过。

维护任务的计划可写成依赖图：确认设备；检索证据；形成建议和不确定项；查询可用技术人员；生成草案；请求审批；提交工单；确认最终 ID；可选发送通知。设备或证据变化会使后续草案失效，旧审批不能复用。

例 3：一次完整受控任务轨迹

步骤一从照片得到设备候选并由用户确认资产 D7；步骤二检索到适用手册 M3 和组织政策 P2；步骤三只读日程返回两个时段；步骤四生成包含 D7、M3、P2 与时段的草案；步骤五用户批准第二时段；步骤六以幂等键 K 创建工单，返回 ID T9；步骤七查询 T9 状态为已提交。

审计保存每步输入、版本、参数、观测、审批和终止谓词。若创建调用超时，先按 K 查询，不能用新键重建。只有 T9 存在且参数与审批一致才算成功；最后一句“已安排”本身没有完成效力。

记忆只能保存有作用域的事实

短期记忆保留当前设备、候选排除理由、证据、计划、审批和待完成动作。长期记忆可保存资产的历史工单或用户明确偏好，但要有身份作用域、来源、时间和删除策略。旧维修记录可能描述另一台同型号设备，不能只按型号合并。

模型摘要若写入长期记忆，会把推测放大为后续“事实”。写入应区分用户确认、工具记录和模型解释；高风险字段回查原始 ID。检索到的记忆也可能含提示注入，仍按不可信观测处理。

任务规划应明确成功、失败、等待人工和预算终止。计划可被观测更新，但权限边界不随计划改变。重复失败或身份冲突要转人工，不以无限反思循环消耗预算。

端到端成功率设置关键门槛

对任务 $i$，可定义

这种严格成功率会把一个关键错误判为失败，适合外部行动任务。还应保留步骤级指标定位：设备识别、检索召回、声明支持、工具选择、参数正确、审批遵守、错误恢复和终止。步骤平均只能诊断，不能把关键失败稀释成高总分。

例 4：严格成功率与步骤平均的差异

构造四个玩具任务，仅演示计分。任务一全部通过；任务二答案正确但重复创建工单；任务三设备错误；任务四在证据不足时正确转人工，且该行为按合同算成功。严格成功为任务一和四，成功率 $2/4=0.5$。

若每项有八个步骤，任务二和三各只错一个步骤，简单步骤准确率仍可能很高，却不能覆盖重复副作用和实体混淆。真实评价应预先定义转人工何时是成功，并公开每类失败数量；这里的数字不是基准结果。

成功率还要按图像质量、型号频率、语言、证据冲突、权限、工具错误和任务长度切片。只在常见型号和正常 API 上测试，不能外推到未知设备或故障恢复。

证据、答案与引用分别评价

检索层用候选召回和排序指标，生成层用声明级支持、完整性和冲突处理，来源层检查真实性、适用性和新鲜度。答案碰巧正确但引用错误，事实任务可能正确而审计失败；答案忠实于过期手册，引用忠实却来源不适用。

可由领域人员建立最小充分证据集和关键声明标签。自动判分器可辅助规模化，但它也可能误读否定、表格和版本，需在人工标注子集校准并报告分歧。不能让被评价模型直接判自己正确。

成本与延迟沿关键路径核算

总成本包括输入输出 token、视觉编码、检索和重排、工具调用、重试、存储、日志和人工时间。单位任务均值会隐藏长尾，应报告分位数、超时率和按成功或失败分组的成本。失败循环可能比成功任务更贵。

端到端机器延迟由依赖图的关键路径决定，而不是所有步骤简单相加；可并行的只读查询取最大完成时间，写操作和审批通常串行。人工等待应单独报告服务等待与机器计算，避免系统用时不可解释。

例 5：手算一次关键路径机器延迟

一个演示流程中，视觉读取耗时 $0.8$ 秒；随后资产查询 $0.6$ 秒与手册检索 $1.1$ 秒并行；草案生成 $0.7$ 秒；审批后的工单提交与确认 $0.5$ 秒。忽略排队且不含人工等待，关键路径为

$$0.8+\max(0.6,1.1)+0.7+0.5=3.1\text{ 秒}.$$

若把并行步骤相加会得到 $3.7$ 秒。真实系统还需计网络排队、重试和冷启动，并报告多次测量分布；这个数字只是算式示例。

优化延迟不能删除关键验证。缓存手册可提速，但需版本和权限键；并行写操作可能造成竞争；更短提示若丢失审批条件会牺牲正确性。成本、成功和安全应构成共同报告。

安全边界由执行层而非文本保证

视觉文字、手册片段、网页、邮件、工具错误和记忆都可能包含提示注入。系统把它们标为数据，不能改变工具权限、审批和目标。最小权限令牌、参数 schema、沙箱、域名与文件允许表、输出转义和独立人工审批在模型外执行。

维护建议可能涉及电气、压力或机械风险。系统可引用手册并创建检查工单，不能在证据不足时指导越权操作；危险操作由合格人员和组织规程决定。未知型号、手册冲突、传感器异常和权限错误应触发停止或接管。

评价加入恶意文档、图像内指令、跨用户记忆、审批参数变化、超时重复和部分完成。通过这些测试只支持规定攻击集和版本范围，不构成一般自主可靠性或无漏洞证明。

可复现轨迹不依赖隐藏思维链

保存原始请求与图像哈希、预处理、模型和 tokenizer 版本、提示与生成配置、索引和文档版本、召回候选与分数、上下文顺序、工具 schema、经验证参数、权限与审批、请求 ID、结果、记忆快照、时间、成本和终止原因。外部秘密与不必要个人数据不记录。

结构化动作、观测、证据和简短决策摘要足以支持重放与归因；无需把隐藏思维链当必要日志。实时工具重放可能再次产生副作用，应使用沙箱或保存结果。外部状态更新后，历史轨迹可复现当时输入，不保证今天返回相同结果。

随机采样会引入变异。评价固定或记录种子、温度和采样参数，重复运行估计波动；工具与检索也需版本化。只重放最终提示而丢失原图、索引和工具状态，不能称为系统复现。

故障归因需要受控替换

故障标签可分为：意图或格式解析、视觉识别、检索召回、重排、证据使用、工具选择、参数、权限、外部 API、记忆污染、计划和终止。最后答案错误不能直接归因于语言模型，因为上游设备 ID 可能已错。

受控替换逐阶段提供正确中间量：用人工设备 ID 替换视觉输出，保持其余轨迹不变；用充分证据替换检索；用模拟工具替换外部故障；清空或注入记忆；固定计划只测执行。如果替换某步后端到端成功恢复，该步是候选根因，但组件间交互仍需联合实验。

反事实重放还可区分鲁棒性：同一证据换顺序、同一图像改变亮度、工具延迟或返回分页、用户中途修改时段。故障注入要记录注入点和预期恢复，不能只测模型是否说出“抱歉”。

系统评价协议

任务集应含正常成功、需要澄清、应拒绝或转人工、证据冲突、未知设备、权限不足、工具瞬时失败、结果未知和注入攻击。按真实实体拆分，防止同一照片、手册片段或工单模板跨入训练与评价；测试版本冻结。

先报告严格任务成功和关键违规，再报告步骤指标、证据、成本、延迟和切片。每类失败展示可重放轨迹与归因置信。对模型、索引、工具或记忆策略的变更使用同一任务合同和预算，避免组件升级同时改变评价。

上线采用影子、只读、草案、审批写入的逐级权限。监控成功、人工接管、重复副作用、证据缺失、成本长尾、延迟、注入和分布漂移，并保持快速关闭。系统能力结论只覆盖经过评价的任务、版本和权限边界。

练习

练习 1：贯穿分解标记完成

所属知识

系统链路

难度

4/5

把设备维护任务拆成可独立诊断的步骤。

查看提示

按语言、视觉、检索、证据、工具、记忆、计划、审批和终止列中间量。

查看解答

每步定义输入输出、版本、权限和成功条件；设备未确认不能检索并提交，工具返回工单ID且参数与审批一致才完成。

练习 2：严格成功标记完成

所属知识

指标

难度

4/5

设计一个不会被高步骤平均掩盖关键失败的指标。

查看提示

将实体、证据、副作用和关键违规设为合取门槛，再用步骤分数定位。

查看解答

任一关键项失败则任务失败，转人工是否成功由合同预先定义；步骤准确率单列，不能平均掉越权、重复写入或错误实体。

练习 3：证据评价标记完成

所属知识

引用

难度

5/5

说明为什么检索命中不能直接等于答案有依据。

查看提示

分别检查召回、声明支持、引用对应、来源适用和新鲜度。

查看解答

建立需要证据的声明集和最小充分片段；报告召回、支持精确与完整、冲突及版本。正确答案配错引用仍是引用失败。

练习 4：成本延迟标记完成

所属知识

系统预算

难度

4/5

为一个含并行检索和人工审批的任务计算预算。

查看提示

机器成本按组件相加，延迟按依赖图关键路径，人工等待单列。

查看解答

并行只读阶段取最大耗时，审批和写入串行；报告token、调用、重试、存储、分位延迟、超时和人工等待，不能删除安全检查换速度。

练习 5：故障归因标记完成

所属知识

重放

难度

5/5

设计区分视觉错误与检索错误的受控实验。

查看提示

一次只替换一个中间输出，并固定下游配置与工具结果。

查看解答

依次用正确视觉实体、充分证据、模拟工具和干净记忆重放；成功恢复指向候选根因，再做交互替换验证，保存注入点和轨迹。

练习 6：安全与复现标记完成

所属知识

部署边界

难度

5/5

写出可复现且不泄露秘密的上线门禁。

查看提示

执行层固定权限审批，轨迹保存输入动作观测版本而非隐藏思维链。

查看解答

保存图像、模型、索引、文档、schema、参数、权限、审批、结果、记忆、成本和终止；注入内容不能提权，高影响动作逐级上线并保留回退。

关系与资源

• 语言建模与规模规律 提供 token、似然、上下文和计算边界。
• 指令适配与偏好优化 提供接口行为、偏好代理和分布错位边界。
• 视觉语言模型 提供图文表示、候选识别和跨模态评价。
• 检索增强与事实落地 提供召回、证据、引用、权限和注入边界。
• 工具调用、记忆与任务规划 提供受约束状态、错误恢复与审批循环。

论文 · 2023

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

用于核对工具调用智能体的基本循环和论文实验范围，不把自由文本轨迹等同于可靠证明。

打开官方来源

论文 · 2020

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela

用于核对检索—生成联合建模的原始范围；引用正确性和生产审计需要额外设计。

打开官方来源

论文 · 2021

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

用于核对跨模态对齐、零样本分类、数据构造和评价限制。

打开官方来源

论文 · 2022

Training Language Models to Follow Instructions with Human Feedback

Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe

用于核对指令适配和人类反馈训练流程，并保留数据分布、标注者和残余错误边界。

打开官方来源