知识库文件显示处理完成,只代表资料已进入索引流程,不能证明真实问题会命中正确片段。可靠做法是先在 Dify 的检索测试中固定问题、查看命中内容,再接入应用复测最终回答。本文从一份已脱敏、已完成处理的测试文档开始。
先把常见疑问说清楚
- 测试什么:至少准备一个直接问题、一个换说法问题和一个资料中没有答案的反例。
- 看什么:查看命中文档、片段正文、排序和是否保留关键限定条件,不只看分数。
- 何时接入应用:三类问题都得到可解释的检索结果后,再接入;反例不应命中看似相关但不支持答案的片段。
开始前先准备什么
准备一份不含敏感信息的测试材料,并写清任务范围、期望输出和验收条件。涉及客户资料、个人信息、未公开论文或商业文件时,先确认上传权限并做必要脱敏。

实际操作步骤
- 准备一份虚构测试资料,例如“设备 A 保修 12 个月,需提供发票;人为损坏不在范围内”。资料要有标题、生效日期和完整例外条件。
- 确认文档已处理完成后进入 Retrieval Testing。固定三问:“设备 A 保修多久?”“没有发票能否申请?”“设备 B 保修多久?”最后一问是资料中没有答案的反例。
- 逐题保存命中片段。直接问题应命中期限,条件问题应同时保留发票和例外,反例不能用设备 A 的内容回答设备 B。若不符合,先修改源文档结构或检索设置。
- Retrieval Testing 中调整的检索参数只对当前测试会话临时生效,不会自动成为应用配置。记录通过测试的参数值,接入应用后在知识检索节点重新配置。
- 按官方接入文档把通过测试的知识库添加到应用。应用提示词中明确:只依据检索内容回答,没有依据时说明未找到。
- 在应用的知识检索节点完成参数配置后,在预览中重复同一组三题,并记录知识检索结果与最终回答。检索正确而回答错误时,检查提示词与上下文传递;检索本身错误时回到知识库。
预期结果与检查方法
最终应有一份固定问题清单、对应命中片段,以及接入应用前后的两组结果,能区分检索失败和回答失败。
验证:记录 Retrieval Testing 的临时参数,在应用知识检索节点重新配置;再用同一组三题比较测试页与应用预览,正确问题命中完整条件,未知问题明确没有依据。
什么时候应该停止并回退
文档仍在处理、片段缺少关键条件、反例被错误召回或应用没有使用目标知识库时,停止发布并回到相应环节修复。
如果结论会用于考试、医疗、法律、财务或对外承诺,应让具备责任的人复核,不能把 AI 输出当成最终依据。
官方资料
- https://docs.dify.ai/en/cloud/use-dify/knowledge/test-retrieval:Dify 官方文档说明知识库 Retrieval Testing 的查询与参数测试。
- https://docs.dify.ai/en/cloud/use-dify/knowledge/integrate-knowledge-within-application:Dify 官方文档说明把知识库接入应用的方式。
- https://docs.dify.ai/en/cloud/use-dify/knowledge/create-knowledge/import-text-data/readme:Dify 官方文档说明本地文件导入与处理。
使用边界
示例规则为虚构内容,本文未在读者实例上传文件;分段、索引、检索参数、额度和界面以当前 Dify 部署为准。
Ai菜鸟网。发布者:AI小管家,转载请注明出处:https://www.alyyhw.com/32808.html