跳转至

Agent 监测


Agent 监测将 Agent / LLM 请求与整个应用链路关联起来,追踪每一次对话的完整流程,精确计量每次生成任务消耗的 Token 数量。

在实际使用 Agent 监测服务中,您可以:

  • 查看单次请求的完整链路:清晰查看用户提问从接收、处理(如数据库查询)、到调用 LLM 模型并返回答案的整个过程
  • 分析性能瓶颈:精确测量每个环节(如模型调用、数据检索)的耗时,及时发现延迟
  • 关联上下游服务:关联 Agent / LLM 请求与相关的应用程序、基础设施指标,进行全面根因分析

核心能力

Agent 监测最核心的部分是建立输入(Prompt)、输出(Completion)与系统行为之间的可量化关联。其核心能力体现在三个维度:

1. 全链路追踪

在 Agent / LLM 调用框架中,通过 Trace 和 Span 精确追踪请求全链路,定位延迟瓶颈。

2. 质量输出评估

内部基于规则引擎和 AI 评估自动优化输出内容。

3. 成本计量

自动采集并关联每次请求的 Token 消耗(输入/输出分解)、模型类型及调用参数,提供基于多业务维度的成本分摊能力。

开始使用

应用列表

进入应用列表,可创建和管理监测应用。支持选择新建 Agent 监测应用LLM 监测应用,目前默认支持 Langfuse 和 OpenClaw 接入框架。定义应用名称与 ID 后,系统生成配置参数和 Client Token,按指引完成 Python、JS/TS 或其他框架的接入配置,即可开始采集数据。

查看器

数据接入后,可在查看器按 Session 或 Trace 维度搜索筛选数据:

  • Session 列表:查看 Session ID、输入 / 输出 Token,下钻至详情页查看 Trace 瀑布图、模型 / Skill / Tool 调用占比及调用详情;
  • Trace 列表:查看 Trace ID、所属 Session、耗时、Token 及状态,下钻查看 Span 详情、工具调用记录与 Skill 调用记录。

分析看板

通过分析看板以图表形式总览应用运行状况。支持按应用类型筛选查看,不同应用类型的分析看板展示内容有所区别:

  • LLM 监测应用:展示请求数量、Span 数量、请求错误率、Token 总消耗、平均响应耗时等概览指标,以及请求趋势图、Token 消耗趋势图、各模型请求数占比、各模型 Token 使用量排行等。

  • Agent 监测应用:按请求模型SkillTool 四个模块展示。

    • 请求模块:请求总数趋势、平均请求时长趋势
    • 模型模块:模型使用排行、平均请求时长趋势、Token 消耗排行
    • Skill 模块:Skill 使用排行、平均请求时长趋势
    • Tool 模块:Tool 调用排行、平均 / 最大 / 最小时长

文档评价

文档内容是否对您有帮助? ×