Agent 监测¶
Agent 监测将 Agent / LLM 请求与整个应用链路关联起来,追踪每一次对话的完整流程,精确计量每次生成任务消耗的 Token 数量。
在实际使用 Agent 监测服务中,您可以:
- 查看单次请求的完整链路:清晰查看用户提问从接收、处理(如数据库查询)、到调用 LLM 模型并返回答案的整个过程
- 分析性能瓶颈:精确测量每个环节(如模型调用、数据检索)的耗时,及时发现延迟
- 关联上下游服务:关联 Agent / LLM 请求与相关的应用程序、基础设施指标,进行全面根因分析
核心能力¶
Agent 监测最核心的部分是建立输入(Prompt)、输出(Completion)与系统行为之间的可量化关联。其核心能力体现在三个维度:
1. 全链路追踪
在 Agent / LLM 调用框架中,通过 Trace 和 Span 精确追踪请求全链路,定位延迟瓶颈。
2. 质量输出评估
内部基于规则引擎和 AI 评估自动优化输出内容。
3. 成本计量
自动采集并关联每次请求的 Token 消耗(输入/输出分解)、模型类型及调用参数,提供基于多业务维度的成本分摊能力。
开始使用¶
应用列表¶
进入应用列表,可创建和管理监测应用。支持选择新建 Agent 监测应用 或 LLM 监测应用,目前默认支持 Langfuse 和 OpenClaw 接入框架。定义应用名称与 ID 后,系统生成配置参数和 Client Token,按指引完成 Python、JS/TS 或其他框架的接入配置,即可开始采集数据。
查看器¶
数据接入后,可在查看器按 Session 或 Trace 维度搜索筛选数据:
- Session 列表:查看 Session ID、输入 / 输出 Token,下钻至详情页查看 Trace 瀑布图、模型 / Skill / Tool 调用占比及调用详情;
- Trace 列表:查看 Trace ID、所属 Session、耗时、Token 及状态,下钻查看 Span 详情、工具调用记录与 Skill 调用记录。
分析看板¶
通过分析看板以图表形式总览应用运行状况。支持按应用类型筛选查看,不同应用类型的分析看板展示内容有所区别:
-
LLM 监测应用:展示请求数量、Span 数量、请求错误率、Token 总消耗、平均响应耗时等概览指标,以及请求趋势图、Token 消耗趋势图、各模型请求数占比、各模型 Token 使用量排行等。
-
Agent 监测应用:按请求、模型、Skill、Tool 四个模块展示。
- 请求模块:请求总数趋势、平均请求时长趋势
- 模型模块:模型使用排行、平均请求时长趋势、Token 消耗排行
- Skill 模块:Skill 使用排行、平均请求时长趋势
- Tool 模块:Tool 调用排行、平均 / 最大 / 最小时长