エクスプローラー¶
アプリケーションの作成が完了すると、システムは Agent / LLM の各リクエストをログイベントとしてエクスプローラーに集約します。検索・フィルタリングにより、単一またはすべてのアプリケーションのすべての Session および Trace データを分析できます。
ページ上部で Agent / LLM の状態を切り替えることができ、デフォルトでは Agent 状態になります。
Agent 状態¶
Agent 状態では、ページ上部に 2 つのフィルターボックスが表示されます。
- Agent タイプ：すべての Agent タイプ、または指定したタイプでフィルタリングします。
- インスタンス：選択した Agent タイプに属する特定のインスタンスをフィルタリングします。インスタンス名の検索に対応しています。特定の Agent タイプを選択すると、インスタンスフィルターにはそのタイプのインスタンスのみが表示されます。Agent タイプを選択していない場合、インスタンスフィルターはデフォルトですべてのインスタンスになりますが、選択はできません。
LLM 状態¶
LLM 状態に切り替えると、ページ上部にアプリケーションフィルターが表示され、すべてのアプリケーション、または指定した LLM アプリケーションを選択して表示できます。
表示モード¶
User 一覧¶
Agent 総合エクスプローラーは、User 単位で Agent タイプをまたいだデータ集計に対応しています。個々の Agent タイプの詳細ページにも User タブがあり、そのタイプにおける User の利用状況を確認できます。
Agent Teams データの場合、User 単位はワークスペースメンバーに関連付けられ、ユーザー名も表示されるため、対応するユーザーを識別しやすくなります。
Agent タイプの詳細ページには、以下の 1 次タブがあります。
Session 一覧¶
デフォルトでは Session 単位でデータを表示します。一覧のフィールドには、Session ID、入力トークン、出力トークン、リスクイベント数、アラートレベルが含まれます。左側のクイックフィルターでは、トークン範囲、モデルプロバイダー、リクエストモデル、レスポンスモデルなどの単位でフィルタリングできます。一覧、トップリスト、時系列グラフ、円グラフ、ツリーマップ、グループ化テーブルなど、複数の分析ビューに対応しています。
- リスクイベント数：現在の Session で検出されたリスクイベントの総数。
- アラートレベル：現在の Session におけるリスクイベントの最も高いアラートレベル。リスクイベントがない場合は、リスクなしの状態として表示されます。
いずれかの行をクリックすると Session 詳細ページに移動します。
- 概要：左側に Session Trace のウォーターフォールチャート、右側にプレビュー、プロパティ情報、現在の Session のアラートレベルを表示します。
- 呼び出し分析：モデル呼び出しの割合、Tool 実行の割合、Skill 実行の割合、および現在の Session に関連付けられた Trace とリスクイベントを表示します。リスクイベントには、アラートレベル、関連操作、発生時刻などの情報が表示されます。
Trace 一覧¶
Trace 一覧タブに切り替えると、Trace 単位でデータを確認できます。一覧のフィールドには、Trace ID、所属 Session、Trace 所要時間、入力トークン、出力トークン、Trace ステータス、リスク操作数、アラートレベルが含まれます。
- リスク操作数：現在の Trace で危険な操作としてマークされた数。
- アラートレベル：現在の Trace のすべてのリスク操作のうち、最も高いアラートレベル。
いずれかの行をクリックすると Trace 詳細ページに移動します。
- 概要：ウォーターフォールチャートで Trace の呼び出しプロセスを表示し、現在の Trace のアラートレベルも表示します。その下に Span 詳細が表示されます。
- 呼び出し分析：Tool と Skill の呼び出し記録を表示します。危険な操作にはリスクマークが表示され、関連する Tool、Skill、およびその他の操作情報にはリスクレベルも表示されます。
詳細ページ¶
詳細ページでは、左側にアプリケーションが生成した個々の Span と Trace が表示され、右側に対応するプレビューとプロパティ情報が表示されます。
リスクアラート¶
システムは、Agent の実行中に発生したリスクイベントに基づいて、Session、Trace、Tool、Skill などのオブジェクトにリスクマークを付けます。
リスクアラート情報は次の場所に表示されることがあります。
| 場所 | 表示内容 |
|---|---|
| Session 一覧 | リスクイベント数、アラートレベル |
| Session 概要 | 現在の Session のアラートレベル |
| Session 呼び出し分析 | リスクイベントと関連 Trace |
| Trace 一覧 | リスク操作数、アラートレベル |
| Trace 概要 | 現在の Trace のアラートレベル |
| Trace 詳細 | 危険な操作のマーク、および Tool、Skill などの操作のリスクレベル |
Session または Trace に複数のリスクイベントが含まれる場合、一覧と概要にはその中で最も高いアラートレベルが表示されます。呼び出し分析のリスクイベントで特定のリスクイベントまたは危険な操作をクリックすると、セキュリティモニタリングに移動して詳細を確認できます。
関連操作¶
- ノード名
sourceで検索して特定します。 - メトリクスとスコアを表示するかどうかを選択します。
メトリクスとスコアとは？
- メトリクス：
durationの所要時間を表示 - スコア：モデル品質評価のスコア、説明などの情報
プレビュー¶
ノードタイプ、ノード名、実行所要時間、トークン消費、実行状態、実行詳細が含まれます。
ステータス表示¶
実行状態（status） |
考えられる原因 |
|---|---|
| 成功：Success | |
| 失敗：Error | Agent / LLM 呼び出しのタイムアウト、ツールの異常な戻り値など |
| 警告：Warning | 出力内容が機密語検出にヒットしたが実行は中断されなかった場合など |
実行詳細¶
アプリケーションの Input（入力）と Output（出力）を表示します。前者には最終的にモデルへ送信するリクエストを構築するためのすべての要素が含まれ、後者には入力に基づいて生成された結果が表示されます。
LangChain OpenTelemetry 経由で取り込んだデータの場合、gen_ai 関連の属性が Input、Output、トークン情報として解析されます。元データに対応する属性がない場合は、ページには空で表示されます。
プロパティ情報¶
現在の Span または Trace に含まれる関連フィールド情報。
関連ビュー¶
右上隅の + ボタンを使用すると、組み込みビューを現在の詳細ページにバインドし、Agent / LLM データを専門的に表示できます。
- 追加ボタンをクリックします。
- 関連フィールドを選択します。
- 表示された組み込みビューのバインドパネルで、関連付けるビューを選択します。
- バインドが成功すると、新しいタブがタブバーに表示されます。
関連情報¶
以下の内容にご興味があるかもしれません。