智能体回答错了,只保存最终文本通常找不到原因:可能是模型没调用工具、工具返回空值,也可能是拿到了结果却回答错。已有 LangGraph 应用时,可用 LangSmith 把一次请求的各步骤记录为 trace,再按模型调用、工具调用和最终输出定位。
开启一条可复现的 trace
先准备 LangSmith 账号、API key 和一个可以运行的 LangGraph 应用。按LangSmith 的 LangGraph 追踪指南,在运行应用的环境中设置 LANGSMITH_TRACING=true 与 LANGSMITH_API_KEY;示例若调用 OpenAI 模型还需对应模型密钥。密钥只放在服务器环境或密钥管理中,不写入日志、文章或代码仓库。非默认区域的账号还要按官方文档设置正确的 LANGSMITH_ENDPOINT,多工作区密钥可能需要 LANGSMITH_WORKSPACE_ID。

先用一条固定输入,例如“查询演示订单 A 的状态”,在你已有的测试环境运行一次图。记录请求时间、测试用户、预期工具名和预期结果;不要把真实订单号或个人资料放进追踪样例。若应用还有检索节点,固定预期命中的资料文件,便于区分检索错误和回答错误。
在 LangSmith 中看什么
- 打开对应项目的最新 trace,按请求时间和测试输入定位这一轮。官方概念文档把每个模型、工具或检索步骤称为 run,多步请求组成 trace;多轮会话可按 thread 关联。
- 按执行顺序看输入、模型节点、工具或检索节点、最终输出。若预期工具没有 run,先查路由、提示词和工具是否在该轮可用;若工具 run 失败,查错误与参数;若工具输出正确而最终答案错,检查后续节点如何使用输出。
- 修改一个因素后,用同一输入再次运行并比较两条 trace。确认失败节点消失、输出符合预期,再用一个错误参数或无权限样例检查失败路径。Tracing quickstart展示了从发送 trace 到在界面查看结果的流程。
监控边界
有 trace 只表示过程可见,不代表答案正确或业务动作获授权。追踪可能包含用户输入、模型响应和工具参数;上线前要决定哪些字段脱敏、谁能看项目、保存多久。若 trace 没出现,依次检查追踪开关、API key、区域 endpoint、网络和应用是否真的运行了带追踪的代码;自定义外部函数可能需要按官方指南另行标注,不能假设每一行普通 Python 都自动成为独立 run。
本文依据 2026 年 10 月可读取的官方文档写作,未登录读者 LangSmith 工作区或连接其生产应用实测。本文给出单次故障定位流程,长期告警阈值还需依据真实业务的错误率和延迟基线另行设定。
Ai菜鸟网。发布者:AI小管家,转载请注明出处:https://www.alyyhw.com/29984.html