出力品質評価¶

出力品質評価は、大規模モデルの出力が期待どおりかを確認するための機能です。評価ルールを設定することで、本番環境のモデル呼び出しや指定範囲のデータに対して評価を実行し、スコアやルールのヒット結果を確認できます。

現在サポートしている評価タイプは、Prompt Eval と Schema Eval の 2 つです。

評価器を作成¶

Agent モニタリング > 評価 に移動し、評価器を作成 をクリックします。

以下の情報を設定します。

評価タイプを選択します。Prompt Eval を使用する場合は、評価器 Skill テンプレートを選択するか、評価目標を記述して設定を生成します。
評価対象タイプを選択します。
評価指示、入力構造、結果タイプを確認します。
テストデータを使用して試運転を実行します。
結果が期待どおりであることを確認してから、評価器を公開します。

Prompt Eval¶

Prompt Eval は、プロンプトを使用してモデルの入力または出力を判定します。コンテンツ品質、関連性、完全性、セキュリティなどの評価シナリオに適しています。

設定時には、以下を指定する必要があります。

評価プロンプト
評価結果とスコアリングルール

評価結果を安定させるために、プロンプトには評価目標、判定基準、返却形式を明確に記載することをお勧めします。

評価目標を記述¶

Prompt Eval を選択すると、「評価目標を記述」に自然言語で要件を入力し、評価設定を生成できます。記述では、評価対象、判定基準、例外条件、期待する結果タイプを明確に指定してください。例：

LLM の応答が丁寧かどうかをチェックし、表現方法のみを評価し、事実の正確性は評価しないこと。合格かどうかとその理由を返すこと。

生成後、対象タイプ、評価指示、結果タイプ、推奨入力を確認し、必要に応じて修正します。特に、例外条件が正確かどうか、選択したデータに判定に必要な証拠が含まれているかを確認してください。有効な評価の観点がない記述は、内容を補足して再生成する必要があります。

前のステップに戻って記述を修正できます。プラットフォームテンプレートを選択する際、ページに既存の記述をクリアするよう促された場合は、内容を確認してから切り替えてください。記述による生成は Prompt Eval に適用され、Schema Eval では対応する構造検証設定が引き続き使用されます。

カスタム評価入力¶

「評価設定」の「評価入力構造」で、評価器に渡す入力テンプレートを編集できます。説明文と Trace または Span のコンテキストフィールドを組み合わせます。評価指示は判定方法を定義し、入力テンプレートは判定の根拠として使用するデータを決定します。

テンプレートでは二重波括弧を使用して変数を参照します。フィールドパス、配列インデックス、[*] に対応しています。例えば、ルートノードの入力と出力を評価する場合は次のように使用します。

ユーザー入力：
{{root.input}}

最終出力：
{{root.output}}

フィールドパスには、現在の評価で利用可能な変数を使用する必要があります。テンプレートには有効な変数を含める必要があり、変数を含まないプレーンテキストのみでは次のステップに進めません。ツール呼び出しを含む評価では、テンプレートに判定に必要なツール名、パラメータ、戻り値、実行ステータスが含まれていることを確認してください。

試運転結果で「実際の評価入力」を展開し、変数置換後の内容が期待どおりかを確認します。フィールドが収集されていない場合は、データ収集と入力設定を先に確認し、スコアだけでデータの完全性を判断しないでください。

手動で入力した固定内容は今回の評価入力としてのみ使用され、元の Trace は変更されません。評価指示やその他の主要な設定を変更した場合は、再度試運転を実行する必要があります。

Schema Eval¶

Schema Eval は、モデルの出力が指定したデータ構造に準拠しているかをチェックするための機能です。モデルに JSON やその他の構造化コンテンツの返却を要求するシナリオに適しています。

設定時には、対象の Schema を指定する必要があります。評価を実行すると、システムが出力内容のフィールド、タイプ、構造が要件を満たしているかを検査します。

評価器をテスト¶

評価器を公開する前に、時間範囲と実際の Trace サンプルを選択して試運転を実行します。カスタム入力テンプレートを使用する場合は、実際の評価入力、結果、判定理由もあわせて確認します。

テスト結果には、評価出力、スコアまたは構造検証結果が表示されます。結果に応じてプロンプト、Schema、判定ルールを調整し、再度テストできます。

現在の設定で試運転が正常に完了した場合のみ、次の公開ステップに進めます。評価指示などの主要な設定を変更すると、以前の試運転結果は無効になり、再実行が必要です。結果が期待どおりであることを確認したら、公開をクリックすると、評価器が本番評価タスクで使用できるようになります。

評価を実行¶

オンライン評価¶

オンライン評価は、本番環境で生成されたモデル呼び出しデータを継続的にチェックするために使用します。

対象アプリケーションと評価器を選択し、評価するデータ範囲を設定します。タスクを有効にすると、システムは設定に基づいて条件に一致するデータに対して評価を実行します。

バッチ評価¶

バッチ評価は、指定した時間範囲またはクエリ条件に該当する履歴モデル呼び出しデータを評価するために使用します。

バッチ評価タスクを作成する際の手順：

対象アプリケーションを選択します。
時間範囲とフィルタ条件を設定します。
使用する評価器を選択します。
確認して評価タスクを開始します。

評価結果を表示¶

評価結果ページでは、以下を確認できます。

評価器と評価方法
評価ステータス
スコアまたはルール検証結果
モデルの入力と出力
評価時刻
失敗理由

アプリケーション、評価器、評価ステータス、時間範囲などの条件で評価結果をフィルタリングできます。

Note

評価結果は、モデルの出力、評価プロンプト、Schema 設定によって異なります。本番で評価タスクを有効にする前に、代表的なテストデータを使用して評価器の効果を検証することをお勧めします。

手動アノテーション¶

手動アノテーションを使用すると、モデルの入力、出力、呼び出しチェーンを組み合わせて評価結果を再確認し、サンプルをデータセットに追加できます。

アノテーションキューを作成¶

Trace のクエリ条件に基づいて、アノテーション待ちのキューを作成します。失敗や Agent 判定異常などのデータのマークに対応しています。

キューには、未アノテーション、完了、スキップの各件数と、現在の処理進捗が表示されます。キューは共有の未アノテーションリストを使用しており、現在は担当者の割り当て、引き受け、仲裁フローには対応していません。

アノテーションを提出¶

アノテーションワークベンチで、入力、出力、呼び出しチェーン、ツール呼び出し、ユーザーフィードバック、既存の評価結果を確認し、以下を入力します。

アノテーション内容	入力要件
Pass / Fail	必須
スコア	任意、1〜5 点
問題タイプ	Fail を選択した場合は必須
参考回答、備考、タグ	任意

入力が完了したら、「保存して次へ」を選択してアノテーションを続行するか、「保存して Dataset に追加」を選択してサンプルを蓄積できます。

再度アノテーションを実行すると、履歴記録が保持されます。手動アノテーションの結果には情報源が表示され、プラットフォームの評価結果や外部 Score とは区別して表示されます。

データセット¶

データセットは、本番 Trace 条件と手動アノテーション条件から作成され、サンプルの一元管理とバッチ評価の実行に使用されます。

バッチ評価を開始¶

データセット内のサンプルを選択し、バッチ評価を開始します。タスク開始時に対象サンプルの範囲が固定され、その後のデータセットメンバーの変更は実行中のタスクに影響しません。

権限の説明¶

評価器の管理、評価の実行、アノテーションキューとデータセットの管理、手動アノテーションなどの設定操作には、一律で Agent モニタリング > アプリケーション構成管理 の権限を使用します。この権限は Agent と LLM の両方の接続タイプに適用されます。関連する Trace データを表示するには、対応するデータクエリ権限も必要です。データセット、アノテーション、評価結果はすべて、現在のワークスペースと元の Trace のアクセス権限に従います。