콘텐츠로 이동

탐색기


애플리케이션을 생성하고 데이터를 연동한 후 탐색기에서 Agent / LLM 데이터를 검색, 필터링 및 분석할 수 있습니다. Agent 상태에서는 User, Session, Trace, Span 관점을 제공하며, 사용자 사용 현황에서 단일 실행 단계까지 단계적으로 드릴다운할 수 있고, 호출 간 Span의 소요 시간과 오류 상황을 비교할 수도 있습니다.

페이지 상단에서 Agent / LLM 상태를 전환할 수 있으며, 기본적으로 Agent 상태로 진입합니다.

Agent 상태

Agent 상태에서는 페이지 상단에 두 개의 필터 상자가 표시됩니다:

  • Agent 유형: 전체 Agent 유형 또는 특정 유형을 필터링합니다.
  • 인스턴스: 해당 Agent 유형의 특정 인스턴스를 필터링하며, 인스턴스 이름 검색을 지원합니다. 특정 Agent 유형을 선택하면 인스턴스 필터에는 해당 유형의 인스턴스만 표시됩니다. Agent 유형을 선택하지 않은 경우 인스턴스 필터는 기본적으로 전체 인스턴스로 설정되지만 선택할 수 없습니다.

LLM 상태

LLM 상태로 전환하면 페이지 상단에 애플리케이션 필터 컨트롤이 표시되며, 전체 애플리케이션 또는 특정 LLM 애플리케이션을 선택하여 확인할 수 있습니다.

보기 모드

독립 Agent 탐색기의 관점은 User, Session, Trace, Span 순서입니다. 관점을 전환할 때 시간 범위, Agent 유형, 인스턴스 및 대상 관점에 적용되는 조회 조건은 유지됩니다.

User 목록

Agent 전체 탐색기는 User 차원에서 Agent 유형을 넘어 데이터를 집계하는 기능을 지원합니다. 개별 Agent 유형 상세 페이지에도 User 탭이 제공되어 해당 유형의 User 사용 현황을 확인할 수 있습니다.

Agent Teams 데이터의 경우 User 차원에서 워크스페이스 멤버와 연결되며, 사용자 이름도 함께 표시되어 해당 사용자를 식별하기 쉽습니다.

Agent 유형 상세 페이지에는 다음과 같은 최상위 탭이 포함됩니다:

인스턴스 목록 / User 목록 / Session / Trace

Session 목록

기본적으로 Session 차원의 데이터를 표시하며, 목록 필드에는 Session ID, 입력 토큰, 출력 토큰, 위험 이벤트 수, 알림 등급이 포함됩니다. 왼쪽 빠른 필터는 토큰 구간, 모델 제공자, 요청 모델, 응답 모델 등의 차원으로 필터링할 수 있습니다. 목록, 상위 목록, 시계열 차트, 원형 차트, 트리맵, 그룹 테이블 차트 등 다양한 분석 뷰를 지원합니다.

  • 위험 이벤트 수: 현재 Session에서 탐지된 위험 이벤트의 총수입니다.
  • 알림 등급: 현재 Session의 위험 이벤트 중 가장 높은 알림 등급입니다. 위험 이벤트가 없으면 위험 없음 상태로 표시됩니다.

행을 클릭하면 Session 상세 페이지로 이동합니다:

  • 개요: 왼쪽에는 Session Trace 워터폴 차트가, 오른쪽에는 미리보기, 속성 정보 및 현재 Session의 알림 등급이 표시됩니다.
  • 호출 분석: 모델 호출 비율, Tool 실행 비율, Skill 실행 비율과 현재 Session에 연결된 Trace 및 위험 이벤트를 표시합니다. 위험 이벤트에는 알림 등급, 관련 작업, 발생 시간 등의 정보가 표시됩니다.

Trace 목록

Trace 목록 탭으로 전환하면 Trace 차원으로 데이터를 확인할 수 있습니다. 목록 필드에는 Trace ID, 소속 Session, Trace 소요 시간, 입력 토큰, 출력 토큰, Trace 상태, 위험 작업 수, 알림 등급이 포함됩니다.

  • 위험 작업 수: 현재 Trace에서 위험한 작업으로 표시된 수입니다.
  • 알림 등급: 현재 Trace의 모든 위험 작업 중 가장 높은 알림 등급입니다.

행을 클릭하면 Trace 상세 페이지로 이동합니다:

  • 개요: 워터폴 차트를 통해 Trace 호출 과정을 표시하고 현재 Trace의 알림 등급을 보여줍니다. 아래쪽에는 Span 상세 정보가 표시됩니다.
  • 호출 분석: Tool 및 Skill 호출 기록을 표시합니다. 위험한 작업에는 위험 표시가 나타나며, 관련 Tool, Skill 및 기타 작업 정보에도 위험 등급이 함께 표시됩니다.

Span 목록

Span은 모델 호출이나 도구 실행과 같이 Agent 실행 과정의 단일 작업을 나타냅니다. Span 뷰로 전환하면 현재 워크스페이스 내에서 선택한 시간 범위 및 필터 조건에 해당하는 Agent Span을 조회하고, 서로 다른 Trace의 실행 단계를 비교할 수 있습니다.

Agent 모니터링 > 탐색기로 이동하여 Agent 관점에서 Span 목록을 엽니다. 테이블 위쪽에서 두 가지 조회 범위를 제공합니다:

  • 모든 Span(기본값): 조건에 맞는 루트 Span과 하위 Span을 조회합니다. 특정 모델, 도구 또는 스킬 호출을 조사할 때 이 범위를 사용합니다.
  • 루트 Span(Root Spans): 루트 노드로 보고된 Span만 조회하여 한 번의 실행 진입점을 찾기 쉽습니다. 레코드를 클릭하여 소속 Trace로 이동하면 전체 호출 과정과 하위 노드를 계속 확인할 수 있습니다.

범위를 전환할 때 현재 시간, 필터 조건, 표시 열 및 정렬은 유지됩니다. 두 범위 모두 Trace 간 조회를 지원합니다. Trace ID를 지정하거나 특정 Trace에서 드릴다운하는 경우 목록에는 해당 트레이스에서 조건에 맞는 레코드만 표시됩니다. 조회 가능한 데이터는 수집 상황, 보존 기간 및 현재 사용자 권한에 따라 제한됩니다.

Agent 탐색기에서 모든 Span 및 루트 Span 전환

조회 및 분석

  1. Agent 유형, 인스턴스 및 시간 범위를 선택합니다.
  2. 검색 및 빠른 필터를 통해 분석할 Span을 찾고, 필요에 따라 표시 열과 정렬을 조정합니다.
  3. Span 이름, 작업 유형, 모델 또는 도구 등 사용 가능한 필드로 그룹화하고, 상위 목록과 시계열 차트를 통해 소요 시간과 오류 상황을 비교합니다.
  4. Span 레코드를 클릭하여 실행 정보 및 소속 Trace의 컨텍스트를 확인합니다.

목록, 순위 및 추세는 동일한 시간 범위, 권한 및 필터 조건을 사용합니다. 집계 결과는 현재 로드된 목록 페이지만이 아니라 일치하는 전체 데이터를 기준으로 계산됩니다. 결과에 샘플링 또는 잘림이 있는 경우 페이지 안내를 참고하여 집계 범위를 판단하십시오. Span 및 Trace 뷰는 표시 열, 정렬 등의 설정을 각각 저장합니다.

지표 또는 정보 설명
Span 수 조회 범위 내에서 일치하는 Span 레코드 수
Trace 수 일치하는 Span이 속한 Trace의 중복 제거 수
오류 Span 수 실행 오류로 명확히 표시된 Span 수이며, 상태가 없을 때 성공 또는 오류로 추론하지 않습니다
오류율 오류 Span 수를 전체 일치 Span 수로 나눈 값이며, 분모가 0이면 데이터 없음으로 표시됩니다
소요 시간 평균, P50, P95 등의 통계를 지원하며, 중첩되거나 병렬인 Span의 소요 시간을 합한 값이 Trace 총 소요 시간을 의미하지는 않습니다
입력 및 출력 토큰 목록에는 현재 Span 자체에서 보고된 사용량이 표시되며, 보고되지 않은 경우 실제 0 값과 구분하여 데이터 없음으로 표시됩니다

사용 가능한 필드는 Agent가 실제로 보고한 데이터에 따라 달라집니다. 토큰 집계는 실제 사용량을 포함하는 모델 호출 Span만 집계하여 상위 노드의 집계 값과 하위 노드 사용량이 중복 누적되는 것을 방지합니다. 크레딧과 토큰은 별도로 집계되며, 구체적인 집계 기능은 현재 런타임의 지원 상황에 따릅니다. 실행 오류와 위험 이벤트는 각각 표시되며, Trace 수준의 위험 수는 각 Span의 위험 수로 사용되지 않습니다.

호출 컨텍스트 보기

Span 레코드를 클릭하면 상세 정보에서 기본적으로 해당 Span을 찾아 선택하고, 속성, 입력, 출력 및 실행 정보를 확인하며 소속 Trace의 호출 과정을 계속 분석할 수 있습니다. 목록으로 돌아갈 때 기존 시간, 필터, 정렬 및 분석 상태가 유지됩니다.

소속 Trace가 불완전하거나 보존 기간을 초과한 경우에도 현재 읽을 수 있는 Span을 확인할 수 있으며, 페이지 안내에 따라 누락된 컨텍스트를 파악할 수 있습니다.

상세 페이지

상세 페이지로 이동하면 왼쪽에는 애플리케이션에서 생성된 단일 Span 및 Trace가 표시되고, 오른쪽에는 해당 미리보기 및 속성 정보가 표시됩니다.

Span 목록에서 진입하면 상세 정보에서 클릭한 Span이 기본적으로 선택되며, 소속 Trace의 호출 컨텍스트를 계속 확인할 수 있습니다.

위험 알림

시스템은 Agent 실행 과정에서 발생한 위험 이벤트를 기반으로 Session, Trace, Tool, Skill 등의 객체에 위험 표시를 지정합니다.

위험 알림 정보는 다음 위치에 나타날 수 있습니다:

위치 표시 내용
Session 목록 위험 이벤트 수, 알림 등급
Session 개요 현재 Session의 알림 등급
Session 호출 분석 위험 이벤트 및 관련 Trace
Trace 목록 위험 작업 수, 알림 등급
Trace 개요 현재 Trace의 알림 등급
Trace 상세 위험한 작업 표시 및 Tool, Skill 등 작업의 위험 등급

Session 또는 Trace에 여러 위험 이벤트가 포함된 경우 목록과 개요에는 그중 가장 높은 알림 등급이 표시됩니다. 호출 분석의 위험 이벤트에서 특정 위험 이벤트나 위험한 작업을 클릭하면 보안 모니터링으로 이동하여 상세 정보를 확인할 수 있습니다.

관련 작업

  • 노드 이름 source를 기준으로 검색하여 위치를 찾습니다.
  • 지표 및 점수 표시 여부를 선택합니다.
지표와 점수란 무엇인가요?
  • 지표: duration 시간 표시
  • 점수: 모델 품질 평가 점수, 설명 등의 정보

미리보기

노드 유형, 노드 이름, 실행 소요 시간, 토큰 소비량, 실행 상태, 실행 상세를 포함합니다.

상태 표시

실행 상태(status) 가능한 원인
성공: Success
실패: Error Agent / LLM 호출 시간 초과, 도구 응답 오류 등
경고: Warning 출력 내용이 민감 단어 탐지를 트리거했지만 실행이 중단되지 않은 경우 등

실행 상세

애플리케이션의 Input(입력) 및 Output(출력)을 표시합니다. 전자는 최종적으로 모델에 전송할 요청을 구성하는 모든 요소를 포함하고, 후자는 입력에 따라 생성된 결과를 표시합니다.

LangChain OpenTelemetry를 통해 연동된 데이터의 경우 시스템은 gen_ai 관련 속성을 Input, Output 및 토큰 정보로 파싱합니다. 원본 데이터에 해당 속성이 없으면 페이지에 비어 있는 상태로 표시됩니다.

속성 정보

현재 Span 또는 Trace에 포함된 관련 필드 정보입니다.

관련 뷰

오른쪽 위의 + 버튼을 통해 내장 뷰를 현재 상세 페이지에 바인딩하여 Agent / LLM 데이터를 특화하여 표시할 수 있습니다.

  1. 추가 버튼을 클릭합니다.
  2. 관련 필드를 선택합니다.
  3. 표시되는 내장 뷰 바인딩 패널에서 연결할 뷰를 선택합니다.
  4. 바인딩에 성공하면 새로 추가된 탭이 탭 표시줄에 나타납니다.

더 읽어보기

다음 내용에 관심이 있을 수 있습니다:

문서 평가

이 페이지가 도움이 되었나요?