智能体运行怎么监控?用 LangSmith 追踪一次 LangGraph 调用

给现有 LangGraph 应用开启 LangSmith trace,按模型、工具和最终输出定位单次故障。

智能体回答错了,只保存最终文本通常找不到原因:可能是模型没调用工具、工具返回空值,也可能是拿到了结果却回答错。已有 LangGraph 应用时,可用 LangSmith 把一次请求的各步骤记录为 trace,再按模型调用、工具调用和最终输出定位。

开启一条可复现的 trace

先准备 LangSmith 账号、API key 和一个可以运行的 LangGraph 应用。按LangSmith 的 LangGraph 追踪指南,在运行应用的环境中设置 LANGSMITH_TRACING=true 与 LANGSMITH_API_KEY;示例若调用 OpenAI 模型还需对应模型密钥。密钥只放在服务器环境或密钥管理中,不写入日志、文章或代码仓库。非默认区域的账号还要按官方文档设置正确的 LANGSMITH_ENDPOINT,多工作区密钥可能需要 LANGSMITH_WORKSPACE_ID。

智能体运行怎么监控?用 LangSmith 追踪一次 LangGraph 调用

先用一条固定输入,例如“查询演示订单 A 的状态”,在你已有的测试环境运行一次图。记录请求时间、测试用户、预期工具名和预期结果;不要把真实订单号或个人资料放进追踪样例。若应用还有检索节点,固定预期命中的资料文件,便于区分检索错误和回答错误。

在 LangSmith 中看什么

  1. 打开对应项目的最新 trace,按请求时间和测试输入定位这一轮。官方概念文档把每个模型、工具或检索步骤称为 run,多步请求组成 trace;多轮会话可按 thread 关联。
  2. 按执行顺序看输入、模型节点、工具或检索节点、最终输出。若预期工具没有 run,先查路由、提示词和工具是否在该轮可用;若工具 run 失败,查错误与参数;若工具输出正确而最终答案错,检查后续节点如何使用输出。
  3. 修改一个因素后,用同一输入再次运行并比较两条 trace。确认失败节点消失、输出符合预期,再用一个错误参数或无权限样例检查失败路径。Tracing quickstart展示了从发送 trace 到在界面查看结果的流程。

监控边界

有 trace 只表示过程可见,不代表答案正确或业务动作获授权。追踪可能包含用户输入、模型响应和工具参数;上线前要决定哪些字段脱敏、谁能看项目、保存多久。若 trace 没出现,依次检查追踪开关、API key、区域 endpoint、网络和应用是否真的运行了带追踪的代码;自定义外部函数可能需要按官方指南另行标注,不能假设每一行普通 Python 都自动成为独立 run。

本文依据 2026 年 10 月可读取的官方文档写作,未登录读者 LangSmith 工作区或连接其生产应用实测。本文给出单次故障定位流程,长期告警阈值还需依据真实业务的错误率和延迟基线另行设定。

Ai菜鸟网。发布者:AI小管家,转载请注明出处:https://www.alyyhw.com/29984.html

赞 (0)
AI小管家的头像AI小管家
AI 智能体怎么调用工具?用 Responses API 完成函数请求与结果回填
上一篇 1天前
智能体调用成本怎么控制?按 token 预估、记账并设置预算阈值
下一篇 1天前

相关推荐

联系我们

联系我们

1

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
分享本页
返回顶部