Agent モニタリング¶
Agent モニタリングは、Agent / LLM リクエストをアプリケーション全体のチェーンに関連付け、各会話の全体フローを追跡し、各生成タスクで消費される Token 数を正確に計測します。
Agent モニタリングサービスを実際に利用する際には、次のことが可能です。
- 1 回のリクエストの全体チェーンを確認:ユーザーの質問が受け付けられ、処理され(データベースクエリなど)、LLM モデルが呼び出されて回答が返されるまでのプロセスを明確に確認できます
- パフォーマンスのボトルネックを分析:各段階(モデル呼び出し、データ検索など)の所要時間を正確に測定し、遅延を迅速に発見できます
- 上流・下流サービスを関連付け:Agent / LLM リクエストを関連するアプリケーションやインフラストラクチャのメトリクスと関連付け、包括的な根本原因分析を行えます
コア機能¶
Agent モニタリングの最も中心となる部分は、入力(Prompt)、出力(Completion)、およびシステム動作の間に定量化可能な関連を確立することです。そのコア機能は次の 3 つの次元に表れます。
1. エンドツーエンドのトレーシング
Agent / LLM 呼び出しフレームワークにおいて、Trace と Span を通じてリクエストの全体チェーンを正確に追跡し、遅延のボトルネックを特定します。
2. 出力品質の評価
Prompt Eval と Schema Eval により、モデル出力をオンラインまたはバッチで評価し、スコアとルールのヒット結果を確認できます。Prompt Eval は、評価目標を記述した生成設定をサポートし、カスタム評価入力を通じて渡すコンテキストを選択できます。手動アノテーションによる出力のレビューをサポートし、サンプルをデータセットに追加して一元管理できます。
3. コスト計測
各リクエストの Token 消費(入力/出力の内訳)、モデルタイプ、呼び出しパラメータを自動的に収集して関連付け、複数のビジネス次元に基づくコスト配分機能を提供します。
はじめに¶
アプリケーション一覧¶
アプリケーション一覧に移動すると、モニタリングアプリケーションを作成・管理できます。Agent モニタリングには Agent と LLM の 2 種類の接続があり、Agent 類は Agent アプリケーション と Agent フレームワーク に分かれます。各接続方法は次のとおりです。
- Agent アプリケーション:Codex、Claude Code、OpenClaw、Hermes、Qoder、WorkBuddy、OpenCode、CodeBuddy、Cursor、DeepSeek Harness、Opm、mimo、pi、千问工作(デスクトップ版)をサポートします。各タイプの接続方法はAgent モニタリングアプリケーションの作成を参照してください。
- Agent フレームワーク:AgentScope、Spring AI Alibaba、Deep Agents をサポートし、OpenTelemetry による手動接続を行います。
- LLM モニタリングアプリケーション:Langfuse による接続をサポートします。
ページガイドのパラメータ設定を完了すると、データの収集を開始できます。
サマリーページでは、「表示項目」から表示したい Agent タイプをカスタマイズし、各タイプの表示順を調整できます。
デスクトップ版で Codex、Claude Code、WorkBuddy の使用量情報を一元管理したい場合、または GUI で基本収集と拡張収集を管理したい場合は、AgentMeter 使用ガイドを参照してください。各 Agent がサポートする使用量メトリクスは、ガイドの説明に準拠します。
エクスプローラー¶
データ接続後、エクスプローラーで User、Session、Trace、Span の視点から Agent データを検索・分析できます。
- User リスト:
user_idごとに User の利用状況を集約し、Agent タイプ、インスタンス、Session、リクエスト数、Token またはポイントの消費量、最終アクティブ時刻を確認できます。 - Session リスト:Session ID、入力 / 出力 Token、リスクイベント数、アラートレベルを確認し、詳細ページにドリルダウンして Trace ウォーターフォールチャート、モデル / Skill / Tool の呼び出し割合、呼び出しの詳細、リスクイベントを確認できます。
- Trace リスト:Trace ID、所属する Session、所要時間、Token、ステータス、リスク操作数、アラートレベルを確認し、ドリルダウンして Span の詳細、危険な操作、ツール呼び出し記録、Skill 呼び出し記録を確認できます。
- Span リスト:Trace を横断して実行ステップを確認します。ルートスパン を選択すると実行エントリを集中的に確認でき、すべての Span を選択するとモデル、ツール、スキルの呼び出しを分析できます。
分析ダッシュボード¶
分析ダッシュボードから、アプリケーションの稼働状況をグラフ形式で概観できます。アプリケーションタイプによる絞り込み表示をサポートしており、アプリケーションタイプごとに分析ダッシュボードの表示内容が異なります。
-
LLM モニタリングアプリケーション:リクエスト数、Span 数、リクエストエラー率、Token 総消費量、平均応答時間などの概要メトリクスに加え、リクエスト推移グラフ、Token 消費推移グラフ、モデル別リクエスト数割合、モデル別 Token 使用量トップリストなどを表示します。
-
Agent モニタリングアプリケーション:実行概要、モデルと Token、Tool モジュール、Skill モジュールの 4 つのモジュールで表示します。
- 実行概要:総操作数、Tool、LLM、Skill の呼び出し合計数、Token 総量、およびモデル、Tool、Skill の呼び出し分布
- モデルと Token:LLM 呼び出し推移、入力/出力 Token 推移、モデル別 Token 推移、LLM 呼び出し所要時間のパーセンタイル、最初の Token の平均到達時間(TTFT)
- Tool モジュール:アクティブな Tool 数、最大所要時間、呼び出し推移、平均所要時間、異常トップ 10
- Skill モジュール:アクティブな Skill 数、最大所要時間、呼び出し推移、平均所要時間、異常トップ 10