エクスプローラー¶
アプリケーションの作成が完了すると、システムはAgent / LLMリクエストのたびにログイベントとしてエクスプローラーに集約します。検索やフィルタリング、分析を通じて、単一または全アプリケーションのすべてのSessionおよびTraceデータを確認できます。
ページ上部ではAgent / LLMの状態を切り替えられ、デフォルトはAgent状態です。
Agent状態¶
Agent状態では、ページ上部に2つのフィルターボックスが表示されます。
- Agentタイプ:すべてのAgentタイプ、または特定のタイプをフィルタリングします。
- インスタンス:選択したAgentタイプに属する具体的なインスタンスをフィルタリングします。インスタンス名の検索に対応しています。Agentタイプを選択すると、インスタンスフィルターはそのタイプに属するインスタンスのみを表示します。Agentタイプを選択していない場合、インスタンスフィルターはデフォルトですべてのインスタンスになりますが、選択はできません。
LLM状態¶
LLM状態に切り替えると、ページ上部にアプリケーションフィルターコントロールが表示され、すべてのアプリケーションまたは特定のLLMアプリケーションを選択して表示できます。
表示モード¶
Userリスト¶
Agentエクスプローラーでは、Agentタイプを横断してUser単位でデータを集約できます。個々のAgentタイプの詳細ページにもUserタブがあり、そのタイプにおけるUserの使用状況を確認できます。
Agentタイプの詳細ページには、以下の1次タブがあります。
Session一覧¶
デフォルトではSession単位のデータが表示されます。リストのフィールドには、Session ID、入力トークン、出力トークン、リスクイベント数、アラートレベルが含まれます。左側のクイックフィルターでは、トークン範囲、モデルプロバイダー、リクエストモデル、レスポンスモデルなどの軸でフィルタリングできます。リスト、トップリスト、時系列グラフ、円グラフ、矩形ツリーマップ、グループテーブルなど、さまざまな分析ビューに対応しています。
- リスクイベント数:現在のSessionで検出されたリスクイベントの総数です。
- アラートレベル:現在のSessionにおけるリスクイベントのうち、最も高いアラートレベルです。リスクイベントがない場合は「リスクなし」と表示されます。
行をクリックするとSession詳細ページに移動します。
- 概要:左側にSession Traceのウォーターフォールチャートが表示され、右側にプレビュー、属性情報、および現在のSessionのアラートレベルが表示されます。
- 呼び出し分析:モデル呼び出しの割合、Tool実行の割合、Skill実行の割合、および現在のSessionに関連するTraceとリスクイベントが表示されます。リスクイベントには、アラートレベル、関連操作、発生時刻などの情報が表示されます。
Trace一覧¶
Trace一覧タブに切り替えると、Trace単位でデータを表示できます。リストのフィールドには、Trace ID、所属Session、Trace所要時間、入力トークン、出力トークン、Traceステータス、リスク操作数、アラートレベルが含まれます。
- リスク操作数:現在のTrace内で危険な操作としてマークされた数です。
- アラートレベル:現在のTraceにおけるすべてのリスク操作の中で、最も高いアラートレベルです。
行をクリックするとTrace詳細ページに移動します。
- 概要:ウォーターフォールチャートでTraceの呼び出し過程を表示し、現在のTraceのアラートレベルを表示します。下側にはSpanの詳細が表示されます。
- 呼び出し分析:ToolとSkillの呼び出し記録が表示されます。危険な操作にはリスクアイコンが表示され、関連するTool、Skill、およびその他の操作情報にはリスクレベルが表示されます。
詳細ページ¶
詳細ページに移動すると、左側にアプリケーションによって生成された個々のSpanとTraceが表示され、右側に対応するプレビューと属性情報が表示されます。
リスクアラート¶
システムは、Agentの実行中に発生したリスクイベントに基づいて、Session、Trace、Tool、Skillなどのオブジェクトにリスクマークを付けます。
リスクアラート情報は、以下の場所に表示される可能性があります。
| 場所 | 表示内容 |
|---|---|
| Session一覧 | リスクイベント数、アラートレベル |
| Session概要 | 現在のSessionのアラートレベル |
| Session呼び出し分析 | リスクイベントと関連Trace |
| Trace一覧 | リスク操作数、アラートレベル |
| Trace概要 | 現在のTraceのアラートレベル |
| Trace詳細 | 危険な操作のアイコン、およびTool、Skillなどの操作のリスクレベル |
SessionまたはTraceに複数のリスクイベントが含まれる場合、一覧と概要にはその中で最も高いアラートレベルが表示されます。呼び出し分析のリスクイベントで、特定のリスクイベントまたは危険な操作をクリックすると、セキュリティモニタリングにジャンプして詳細を確認できます。
関連操作¶
- ノード名
sourceに基づいて検索および位置を特定します。 - 指標とスコアの表示/非表示を選択します。
???+ warning 「指標とスコア」とは何ですか?
- 指標:`duration` 時間の表示
- スコア:モデル品質評価のスコア、説明など
プレビュー¶
ノードタイプ、ノード名、実行所要時間、トークン消費、実行ステータス、実行詳細が含まれます。
ステータス表示¶
実行ステータス(status) |
考えられる原因 |
|---|---|
| 成功:Success | |
| 失敗:Error | Agent / LLMの呼び出しタイムアウト、ツールの異常な戻り値など |
| 警告:Warning | 出力内容が機密ワード検出に引っかかったが、実行は中断されなかった場合など |
実行詳細¶
アプリケーションのInput(入力)とOutput(出力)を表示します。Inputには、最終的にモデルに送信されるリクエストを構築するためのすべての要素が含まれ、Outputには入力に基づいて生成された結果が表示されます。
属性情報¶
現在のSpanまたはTraceに含まれる関連フィールド情報です。
関連ビュー¶
右上の+ボタンを使用して、組み込みビューを現在の詳細ページにバインドし、Agent / LLMデータを特別に表示できます。
- 追加ボタンをクリックします。
- 関連付けるフィールドを選択します。
- 表示される組み込みビューバインディングパネルで、関連付けるビューを選択します。
- バインドが成功すると、新しいタブがタブバーに表示されます。
関連情報¶
以下の内容にもご興味があるかもしれません。
