출력 품질 평가¶

출력 품질 평가는 LLM 출력이 기대에 부합하는지 확인하는 기능입니다. 평가 규칙을 구성하여 온라인 모델 호출 또는 지정 범위의 데이터에 대해 평가를 실행하고 점수 및 규칙 적중 결과를 확인할 수 있습니다.

현재 Prompt Eval과 Schema Eval 두 가지 평가 유형을 지원합니다.

새 평가기 생성¶

Agent 모니터링 > 평가로 이동하여 새 평가기 생성을 클릭합니다.

다음 정보를 구성합니다:

1. 평가 유형을 선택합니다. Prompt Eval을 사용할 때는 평가기 Skill 템플릿을 선택하거나 평가 목표를 설명하여 구성을 생성할 수 있습니다.
2. 평가 대상 유형을 선택합니다.
3. 평가 지침, 입력 구조 및 결과 유형을 확인합니다.
4. 테스트 데이터로 시험 실행합니다.
5. 결과가 기대에 부합하는지 확인한 후 평가기를 게시합니다.

Prompt Eval¶

Prompt Eval은 프롬프트를 통해 모델 입력 또는 출력을 판단하며, 콘텐츠 품질, 관련성, 완전성 및 안전성 등의 평가 시나리오에 적합합니다.

구성 시 다음을 설정해야 합니다:

• 평가 프롬프트
• 평가 결과 및 점수 규칙

프롬프트에 평가 목표, 판단 기준 및 반환 형식을 명확히 지정하여 평가 결과의 안정성을 보장하는 것이 좋습니다.

평가 목표 설명¶

Prompt Eval을 선택한 후 "평가 목표 설명"에 자연어 요구 사항을 입력하여 평가 구성을 생성할 수 있습니다. 설명에는 평가 대상, 판단 기준, 예외 상황 및 기대하는 결과 유형이 명확히 포함되어야 합니다. 예:

LLM 응답이 예의 바른지 확인하고, 표현 방식만 평가하며 사실 정확성은 평가하지 않습니다. 통과 여부를 반환하고 사유를 설명합니다.

생성 후 대상 유형, 평가 지침, 결과 유형 및 권장 입력을 확인하고 실제 필요에 따라 수정합니다. 특히 예외 조건이 정확한지, 선택한 데이터에 판단에 필요한 증거가 포함되어 있는지 확인합니다. 유효한 평가 기준이 없는 설명은 보완한 후 다시 생성해야 합니다.

이전 단계로 돌아가 설명을 수정할 수 있습니다. 플랫폼 템플릿을 선택할 때 페이지에서 기존 설명을 비우라는 안내가 표시되면 확인 후 전환하세요. 설명 생성은 Prompt Eval에 적용되며, Schema Eval은 해당 구조 검증 구성을 사용합니다.

사용자 정의 평가 입력¶

"평가 구성"의 "평가 입력 구조"에서 평가기에 전달되는 입력 템플릿을 편집하여 설명 텍스트와 Trace 또는 Span 컨텍스트 필드를 조합할 수 있습니다. 평가 지침은 판단 방법을 설명하고, 입력 템플릿은 판단 근거로 사용할 데이터를 결정합니다.

템플릿은 이중 중괄호로 변수를 참조하며, 필드 경로, 배열 인덱스 및 [*]를 지원합니다. 예를 들어 루트 노드의 입력과 출력을 평가할 때 다음을 사용할 수 있습니다:

사용자 입력:
{{root.input}}

최종 출력:
{{root.output}}

필드 경로는 현재 평가 관점에서 사용 가능한 변수를 사용해야 합니다. 템플릿에는 유효한 변수가 포함되어야 하며, 변수가 없는 순수 텍스트만 작성하면 다음 단계로 진행할 수 없습니다. 도구 호출과 관련된 평가에서는 템플릿에 판단에 필요한 도구 이름, 파라미터, 반환 결과 또는 실행 상태가 포함되어 있는지 확인해야 합니다.

시험 실행 결과에서 "실제 평가 입력"을 펼쳐 변수 치환 후의 내용이 기대에 부합하는지 확인합니다. 필드가 수집되지 않은 경우 데이터 수집 및 입력 구성을 먼저 확인해야 하며, 점수만으로 데이터 완전성을 판단해서는 안 됩니다.

수동으로 작성한 고정 내용은 이번 평가 입력으로만 사용되며 원본 Trace는 수정되지 않습니다. 평가 지침 또는 기타 핵심 구성을 수정한 후에는 시험 실행을 다시 수행해야 합니다.

Schema Eval¶

Schema Eval은 모델 출력이 지정된 데이터 구조에 부합하는지 확인하는 데 사용되며, 모델이 JSON 또는 기타 구조화된 콘텐츠를 반환해야 하는 시나리오에 적합합니다.

구성 시 대상 Schema를 설정해야 합니다. 평가를 실행하면 시스템은 출력 콘텐츠의 필드, 유형 및 구조가 요구 사항에 부합하는지 확인합니다.

평가기 테스트¶

평가기를 게시하기 전에 시간 범위와 실제 Trace 샘플을 선택하여 시험 실행을 수행합니다. 사용자 정의 입력 템플릿을 사용할 때는 실제 평가 입력, 결과 및 판단 사유도 함께 확인합니다.

테스트 결과에는 평가 출력, 점수 또는 구조 검증 결과가 표시됩니다. 결과에 따라 프롬프트, Schema 또는 판단 규칙을 조정한 후 다시 테스트할 수 있습니다.

현재 구성이 시험 실행을 성공적으로 완료한 후에만 게시 단계로 진행할 수 있습니다. 평가 지침 등 핵심 구성을 수정하면 기존 시험 실행 결과가 무효화되므로 다시 실행해야 합니다. 결과가 기대에 부합하는지 확인한 후 게시를 클릭하면 평가기를 정식 평가 작업에 사용할 수 있습니다.

평가 실행¶

온라인 평가¶

온라인 평가는 운영 환경에서 생성된 모델 호출 데이터를 지속적으로 확인하는 데 사용됩니다.

대상 애플리케이션과 평가기를 선택하고 평가할 데이터 범위를 구성합니다. 작업을 활성화하면 시스템은 구성에 따라 조건에 부합하는 데이터에 대해 평가를 실행합니다.

일괄 평가¶

일괄 평가는 지정된 시간 범위 또는 쿼리 조건의 과거 모델 호출 데이터를 평가하는 데 사용됩니다.

일괄 평가 작업을 생성할 때:

1. 대상 애플리케이션을 선택합니다.
2. 시간 범위 및 필터 조건을 설정합니다.
3. 사용할 평가기를 선택합니다.
4. 확인 후 평가 작업을 시작합니다.

평가 결과 확인¶

평가 결과 페이지에서 다음을 확인할 수 있습니다:

• 평가기 및 평가 방식
• 평가 상태
• 점수 또는 규칙 검증 결과
• 모델 입력 및 출력
• 평가 시간
• 실패 사유

애플리케이션, 평가기, 평가 상태 및 시간 범위 등의 조건으로 평가 결과를 필터링할 수 있습니다.

수동 라벨링¶

수동 라벨링을 통해 모델 입력, 출력 및 호출 체인을 함께 활용하여 평가 결과를 재검토하고 샘플을 데이터셋에 추가할 수 있습니다.

라벨링 큐 생성¶

Trace 쿼리 조건에 따라 라벨링 대기 큐를 생성합니다. 실패 및 Agent 판단 이상으로 표시된 데이터를 지원합니다.

큐에는 라벨링 대기, 완료 및 건너뜀 수와 현재 처리 진행 상황이 표시됩니다. 큐는 공유 라벨링 대기 목록을 사용하며, 담당자 배정, 작업 인수 및 중재 프로세스는 아직 지원되지 않습니다.

라벨링 제출¶

라벨링 작업 공간에서 입력, 출력, 호출 체인, 도구 호출, 사용자 피드백 및 기존 평가 결과를 확인한 후 다음을 작성합니다:

작성이 완료되면 "저장 후 다음"을 선택하여 라벨링을 계속하거나 "저장 후 Dataset에 추가"를 선택하여 샘플을 축적할 수 있습니다.

다시 라벨링해도 이전 기록이 유지됩니다. 수동 라벨링 결과에는 출처가 표시되며, 플랫폼 평가 결과 및 외부 Score와 구분되어 표시됩니다.

데이터셋¶

데이터셋은 프로덕션 Trace 조건과 수동 라벨링 조건으로 구성되며, 샘플을 중앙에서 관리하고 일괄 평가를 실행하는 데 사용됩니다.

일괄 평가 시작¶

데이터셋에서 샘플을 선택하고 일괄 평가를 시작합니다. 작업 시작 시 이번에 사용할 샘플 범위가 고정되며, 이후 데이터셋 구성원이 변경되어도 실행 중인 작업에는 영향을 미치지 않습니다.

권한 설명¶

평가기 관리, 평가 실행, 라벨링 큐 및 데이터셋 관리, 수동 라벨링 등의 구성 작업에는 동일하게 Agent 모니터링 > 애플리케이션 구성 관리 권한을 사용합니다. 이 권한은 Agent 및 LLM 두 가지 연동 유형에 적용됩니다. 관련 Trace 데이터를 확인하려면 해당 데이터 조회 권한도 필요합니다. 데이터셋, 라벨링 및 평가 결과는 모두 현재 워크스페이스와 원본 Trace의 액세스 권한을 따릅니다.