エクスプローラー¶
アプリケーションを作成してデータを取り込むと、エクスプローラーで Agent / LLM データを検索、フィルタリング、分析できます。Agent 状態では User、Session、Trace、Span のビューが提供され、ユーザーの利用状況から個々の実行ステップまで段階的にドリルダウンできます。また、呼び出しをまたいで Span の所要時間とエラーの状況を比較できます。
ページ上部で Agent / LLM 状態を切り替えられ、デフォルトでは Agent 状態で開きます。
Agent 状態¶
Agent 状態では、ページ上部に 2 つのフィルターボックスが表示されます:
- Agent タイプ:すべての Agent タイプ、または特定のタイプをフィルタリングします。
- インスタンス:該当する Agent タイプ配下の特定のインスタンスをフィルタリングします。インスタンス名の検索をサポートします。特定の Agent タイプを選択すると、インスタンスフィルターにはそのタイプ配下のインスタンスのみが表示されます。Agent タイプを未選択の場合、インスタンスフィルターはデフォルトで [すべてのインスタンス] になりますが、選択できません。
LLM 状態¶
LLM 状態に切り替えると、ページ上部にアプリケーションフィルターコントロールが表示され、すべてのアプリケーションまたは特定の LLM アプリケーションを選択して表示できます。
表示モード¶
独立した Agent エクスプローラーのビューは、User、Session、Trace、Span の順です。ビューを切り替えると、時間範囲、Agent タイプ、インスタンス、および切り替え先のビューに適用されるクエリ条件が保持されます。
User リスト¶
Agent 全体エクスプローラーでは、User ディメンションで Agent タイプをまたいだデータ集計をサポートします。個別の Agent タイプの詳細ページにも User タブがあり、そのタイプ配下の User 利用状況を確認できます。
Agent Teams のデータでは、User ディメンションがワークスペースメンバーに関連付けられ、ユーザー名も表示されるため、該当するユーザーを識別しやすくなります。
Agent タイプの詳細ページには、次のトップレベルタブが含まれます:
Session リスト¶
デフォルトでは Session ディメンションのデータを表示します。リストのフィールドには、Session ID、入力 Token、出力 Token、リスクイベント数、アラートレベルが含まれます。左側のクイックフィルターでは、Token 範囲、モデルプロバイダー、リクエストモデル、レスポンスモデルなどのディメンションでフィルタリングできます。リスト、トップリスト、時系列グラフ、円グラフ、ツリーマップ、グループ化テーブルチャートなど、さまざまな分析ビューをサポートします。
- リスクイベント数:現在の Session で検出されたリスクイベントの総数。
- アラートレベル:現在の Session 配下のリスクイベントにおける最高アラートレベル。リスクイベントがない場合はリスクなしの状態と表示されます。
行をクリックすると Session 詳細ページに移動します:
- 概要:左側に Session Trace のウォーターフォールチャート、右側にプレビュー、属性情報、現在の Session のアラートレベルを表示します。
- 呼び出し分析:モデル呼び出し、Tool 実行、Skill 実行の割合に加え、現在の Session に関連する Trace とリスクイベントを表示します。リスクイベントには、アラートレベル、関連操作、発生時刻などの情報が表示されます。
Trace リスト¶
Trace リストタブに切り替えると、Trace ディメンションでデータを表示します。リストのフィールドには、Trace ID、所属 Session、Trace 所要時間、入力 Token、出力 Token、Trace ステータス、リスク操作数、アラートレベルが含まれます。
- リスク操作数:現在の Trace で危険な操作としてマークされた数。
- アラートレベル:現在の Trace に含まれるすべてのリスク操作のうち最も高いアラートレベル。
行をクリックすると Trace 詳細ページに移動します:
- 概要:ウォーターフォールチャートで Trace の呼び出しプロセスを表示し、現在の Trace のアラートレベルを表示します。下部には Span の詳細を表示します。
- 呼び出し分析:Tool と Skill の呼び出し記録を表示します。危険な操作にはリスクマークが表示され、関連する Tool、Skill、その他の操作情報にもリスクレベルが表示されます。
Span リスト¶
Span は、モデル呼び出しやツール実行など、Agent の実行プロセスにおける個々の操作を表します。Span ビューに切り替えると、現在のワークスペース内で、選択した時間範囲とフィルター条件に一致する Agent Span を検索し、異なる Trace の実行ステップを比較できます。
Agent モニタリング > エクスプローラーに移動し、Agent ビューでSpan リストを開きます。テーブルの上部で 2 つの表示範囲を選択できます:
- すべての Span(デフォルト):条件に一致するルートスパンと子 Span を表示します。特定のモデル、ツール、スキルの呼び出しを調査する場合は、この範囲を使用します。
- ルートスパン(Root Spans):ルートノードとして報告された Span のみを表示し、1 回の実行のエントリポイントを特定しやすくします。レコードをクリックして所属する Trace に移動すると、その完全な呼び出しプロセスと子ノードを引き続き確認できます。
範囲を切り替えても、現在の時間、フィルター条件、表示列、並べ替えは保持されます。どちらの範囲でも Trace をまたいでクエリできます。Trace ID を指定した場合、または特定の Trace からドリルダウンした場合、リストにはそのトレース内で条件に一致するレコードのみが表示されます。クエリ可能なデータは、収集状況、保持期間、現在のユーザー権限によって制限されます。
クエリと分析¶
- Agent タイプ、インスタンス、時間範囲を選択します。
- 検索とクイックフィルターで分析対象の Span を特定し、必要に応じて表示列と並べ替えを調整します。
- Span 名、操作タイプ、モデル、ツールなど利用可能なフィールドでグループ化し、トップリストと時系列グラフで所要時間とエラーの状況を比較します。
- Span レコードをクリックし、その実行情報と所属する Trace のコンテキストを確認します。
リスト、ランキング、トレンドは同じ時間範囲、権限、フィルター条件を使用します。集計結果は、現在読み込まれているリストページだけではなく、一致するすべてのデータに基づいて計算されます。結果にサンプリングまたは切り捨てがある場合は、ページの案内を確認して集計範囲を判断してください。Span ビューと Trace ビューでは、表示列や並べ替えなどの設定がそれぞれ保存されます。
| メトリクスまたは情報 | 説明 |
|---|---|
| Span 数 | クエリ範囲内で一致する Span レコード数 |
| Trace 数 | 一致する Span が所属する Trace の重複排除後の数 |
| エラー Span 数 | 実行エラーとして明示的にマークされた Span 数。ステータスがない場合、成功またはエラーと推定しません |
| エラー率 | エラー Span 数を一致するすべての Span 数で割った値。分母がゼロの場合はデータなしと表示します |
| 所要時間 | 平均値、P50、P95 などの統計をサポートします。ネストされた Span または並列 Span の所要時間を合計しても、Trace の総所要時間を表すものではありません |
| 入力 Token と出力 Token | リストには現在の Span 自身が報告した使用量を表示します。未報告の場合はデータなしと表示し、実際のゼロ値と区別します |
利用可能なフィールドは、Agent が実際に報告するデータによって異なります。Token の集計では、実際の使用量を伴うモデル呼び出し Span のみを対象とし、親ノードの集計値と子ノードの使用量を重複して累計しないようにします。クレジットと Token は別々に集計されます。具体的な集計機能は、現在のランタイムのサポート状況に依存します。実行エラーとリスクイベントは別々に表示され、Trace レベルのリスク数は各 Span のリスク数としては扱われません。
呼び出しコンテキストを表示¶
Span レコードをクリックすると、詳細ページではデフォルトでその Span が特定・選択され、属性、入力、出力、実行情報を確認できます。さらに、所属する Trace の呼び出しプロセスを分析できます。リストに戻ると、元の時間、フィルター、並べ替え、分析状態が保持されます。
所属する Trace が不完全な場合や保持期間を超えている場合でも、現在読み取り可能な Span を確認でき、ページの案内に従って欠落しているコンテキストを把握できます。
詳細ページ¶
詳細ページに移動すると、左側にアプリケーションで生成された単一の Span と Trace、右側に対応するプレビューと属性情報が表示されます。
Span リストから移動した場合、詳細ページではデフォルトでクリックした Span が選択され、所属する Trace の呼び出しコンテキストを引き続き確認できます。
リスクアラート¶
システムは、Agent の実行プロセスで発生したリスクイベントに基づいて、Session、Trace、Tool、Skill などのオブジェクトにリスクマークを付けます。
リスクアラート情報は次の場所に表示される場合があります:
| 場所 | 表示内容 |
|---|---|
| Session リスト | リスクイベント数、アラートレベル |
| Session 概要 | 現在の Session のアラートレベル |
| Session 呼び出し分析 | リスクイベントと関連 Trace |
| Trace リスト | リスク操作数、アラートレベル |
| Trace 概要 | 現在の Trace のアラートレベル |
| Trace 詳細 | 危険な操作のマーク、および Tool、Skill などの操作のリスクレベル |
Session または Trace に複数のリスクイベントが含まれる場合、リストと概要にはその中で最も高いアラートレベルが表示されます。呼び出し分析のリスクイベントで、特定のリスクイベントまたは危険な操作をクリックすると、セキュリティモニタリングに移動して詳細を確認できます。
関連操作¶
- ノード名
sourceに基づいて検索し、特定します。 - メトリクスとスコアを表示するかどうかを選択します。
メトリクスとスコアとは?
- メトリクス:
durationの時間表示 - スコア:モデル品質評価スコア、説明などの情報
プレビュー¶
ノードタイプ、ノード名、実行所要時間、Token 消費量、実行ステータス、実行詳細が含まれます。
ステータス表示¶
実行ステータス(status) |
考えられる原因 |
|---|---|
| 成功:Success | |
| 失敗:Error | Agent / LLM 呼び出しのタイムアウト、ツールからの異常な応答など |
| 警告:Warning | 出力内容がセンシティブワード検出に抵触したものの、実行が中断されなかった場合など |
実行詳細¶
アプリケーション内の Input(入力)と Output(出力)を表示します。前者には、モデルに送信する最終リクエストを構築するためのすべての要素が含まれ、後者には入力に基づいて生成された結果が表示されます。
LangChain OpenTelemetry 経由で取り込んだデータの場合、システムは gen_ai 関連の属性を Input、Output、Token 情報として解析します。元データに対応する属性がない場合、ページには空で表示されます。
属性情報¶
現在の Span または Trace に含まれる関連フィールド情報。
関連ビュー¶
右上の + ボタンから、組み込みビューを現在の詳細ページにバインドし、Agent / LLM データを専用に表示できます。
- 追加ボタンをクリックします。
- 関連フィールドを選択します。
- 表示された「組み込みビューをバインド」パネルで、関連付けるビューを選択します。
- バインドに成功すると、追加されたタブがタブバーに表示されます。
関連情報¶
次の内容も参考になる可能性があります:
![Agent エクスプローラーで [すべての Span] と [ルートスパン] を切り替える](../img/agent-root-spans.png)
