RAG 负责从已知资料取证，Agent 负责选择下一步动作。二者协作时，不应让模型在检索不到时自动猜答案或随意调用写工具；路由应根据检索结果、问题类型和权限做明确分支。 本文依据 LlamaIndex Agent 与 Retriever 文档说明架构，未在你的工具、模型和权限系统上实测；检索分数没有跨模型通用阈值，必须用标注数据校准。
本篇验收要点：知识问题先调用 Retriever，命中通过证据门槛才生成带引用答案；资料缺失或冲突时返回拒答与缺口。 只有用户意图属于受支持动作且权限通过时才调用工具，写操作在执行前再次展示参数并按风险审批。
开始前准备
- 一个可独立评估的 Retriever
- 只读查询与写入工具清单
- 用户身份和权限上下文
- 回答、拒答、读工具、写工具四类测试问题
按顺序搭建
- 先把问题分类为知识回答、读取状态、写入动作或范围外。分类输出使用固定枚举和原因。
- 知识回答进入 Retriever，保存候选、分数、元数据和引用。门槛由标注集确定，不能从网上抄一个分数。
- 证据足够时只依据检索片段回答并附引用；证据不足、冲突或过期时拒答并指出需要的资料。
- 读取状态使用只读工具并限制参数；写入动作先做权限与参数校验，再进入人工确认或明确的业务审批。
- 保存 route、reason、retrieval_ids、tool_name 和 result_status，用测试集检查每类问题是否走到正确终点。
可复制的最小示例
路由器可以返回下面的结构，随后由代码分支执行：
{
"route": "rag_answer | refuse | read_tool | write_tool",
"reason": "资料命中且版本有效",
"retrieval_ids": ["P3-C8"],
"tool": null,
"requires_approval": false
}
怎样验收结果
验证标准是资料不足的问题不会被模型补写，知识回答能回到检索片段，读取工具没有写权限，写操作在权限和审批前不执行，路由日志可复现决策。
- 范围外问题进入拒答
- 低质量检索不会继续生成肯定答案
- 读工具和写工具权限分离
- 写操作参数与审批记录一致
常见失败与处理
- 所有问题都调用 Agent：将稳定分类和权限放到确定性代码。
- 分数高但文本无关：用标注集评估并加入重排或元数据过滤。
- 工具失败仍回答成功：以工具结构化状态决定终态。
读者下一步是准备每类 10 条问题，先冻结路由期望，再接入检索和工具并逐条核对实际路线。
相关问答
检索分数低于多少必须拒答？
没有通用阈值。应在自己的嵌入模型、语料和标注集上校准，并结合重排和来源状态。
Agent 可以直接修改知识库吗？
只有经过明确授权、参数校验、审批和幂等控制的写工具才可执行；默认保持只读。
官方资料与适用边界
Ai菜鸟网。发布者：AI小管家，转载请注明出处：https://www.alyyhw.com/32469.html
