Agent モニタリング¶

Agent モニタリングは、Agent / LLM のリクエストをアプリケーション全体のリンクトレースと関連付け、各対話の完全なフローを追跡し、各生成タスクで消費されるトークン数を正確に計測します。

Agent モニタリングサービスを実際に使用する際、次のことが可能です：

単一リクエストの完全なリンクトレースを表示：ユーザーからの質問が受信から処理（例：データベースクエリ）、LLM モデルの呼び出し、回答の返却に至るまでの全プロセスを明確に確認できます。
パフォーマンスのボトルネックを分析：モデル呼び出しやデータ検索など、各フェーズの所要時間を正確に計測し、レイテンシを迅速に特定できます。
アップストリーム・ダウンストリームサービスを関連付け：Agent / LLM のリクエストを関連するアプリケーションやインフラストラクチャのメトリクスと結び付け、根本原因分析を徹底的に行えます。

コア機能¶

Agent モニタリングの最も中心的な部分は、入力（Prompt）・出力（Completion）とシステムの動作との間の定量化可能な関連付けを確立することです。そのコア機能は次の 3 つの側面に現れます：

1. エンドツーエンドトレーシング

Agent / LLM 呼び出しフレームワーク内で、Trace と Span を使用してリクエストの全リンクを正確にトレースし、レイテンシのボトルネックを特定します。

2. 品質出力評価

内部ではルールエンジンと AI 評価に基づいて、出力内容を自動的に最適化します。

3. コスト計測

各リクエストのトークン消費量（入力/出力の分解）・モデルタイプ・呼び出しパラメータを自動的に収集して関連付け、複数のビジネスディメンションに基づくコスト配分機能を提供します。

はじめに¶

アプリケーション一覧¶

アプリケーション一覧に移動すると、モニタリングアプリケーションの作成と管理が行えます。新規作成では Agent モニタリングアプリケーション または LLM モニタリングアプリケーション を選択できます。Agent モニタリングアプリケーションは Codex、Claude Code、OpenClaw、Hermes、Qoder、WorkBuddy、OpenCode、AgentScope をサポートしており、AgentScope は OpenTelemetry を使用した手動接続、その他のタイプは obs-agent-connector インストーラを使用した接続に対応しています。LLM モニタリングアプリケーションは Langfuse 経由の接続をサポートしています。ページのガイドに従ってパラメータを設定すると、データの収集を開始できます。

概要ページでは、「表示項目」を使用して表示する Agent タイプをカスタマイズし、各タイプの表示順序を調整できます。

エクスプローラー¶

データが取り込まれると、エクスプローラーで Session または Trace ディメンションでデータを検索・フィルタリングできます：

User 一覧：user_id ごとにユーザーの使用状況を集約し、Agent タイプ、インスタンス、Session、リクエスト数、トークンまたはクレジット消費量、最終アクティブ時刻を表示します。
Session 一覧：Session ID、入力/出力トークン、リスクイベント数、アラートレベルを表示し、ドリルダウンして詳細ページで Trace ウォーターフォールチャート、モデル / Skill / Tool 呼び出し比率、呼び出し詳細、リスクイベントを確認できます。
Trace 一覧：Trace ID、所属 Session、所要時間、トークン、ステータス、リスク操作数、アラートレベルを表示し、ドリルダウンして Span 詳細、危険な操作、ツール呼び出しレコード、Skill 呼び出しレコードを確認できます。

分析ダッシュボード¶

分析ダッシュボードでは、グラフ形式でアプリケーションの実行状況を俯瞰できます。アプリケーションタイプでフィルタリングして表示でき、アプリケーションタイプによって分析ダッシュボードの表示内容が異なります：

LLM モニタリングアプリケーション：リクエスト数、Span 数、リクエストエラー率、トークン総消費量、平均応答時間などの概要指標、ならびにリクエストトレンドグラフ、トークン消費トレンドグラフ、モデル別リクエスト数比率、モデル別トークン使用量ランキングなどを表示します。
Agent モニタリングアプリケーション：実行概要、モデルとトークン、Tool モジュール、Skill モジュールの 4 つのモジュールで表示します。
- 実行概要：総操作数、Tool・LLM・Skill の呼び出し総数、トークン総量、モデル・Tool・Skill の呼び出し分布
- モデルとトークン：LLM 呼び出しトレンド、入力/出力トークントレンド、モデル別トークントレンド、LLM 呼び出し所要時間のパーセンタイル
- Tool モジュール：アクティブな Tool 数、最大所要時間、呼び出しトレンド、平均所要時間、異常トップ 10
- Skill モジュール：アクティブな Skill 数、最大所要時間、呼び出しトレンド、平均所要時間、異常トップ 10