탐색기¶
애플리케이션 생성이 완료되면 시스템은 각 Agent/LLM 요청을 로그 이벤트로 모아 탐색기에 표시합니다. 검색과 필터링을 통해 개별 또는 전체 애플리케이션의 모든 Session 및 Trace 데이터를 분석할 수 있습니다.
페이지 상단에서 Agent/LLM 상태를 전환할 수 있으며 기본값은 Agent 상태입니다.
Agent 상태¶
Agent 상태에서 페이지 상단에 두 개의 필터 상자가 표시됩니다.
- Agent 유형: 전체 Agent 유형 또는 특정 유형을 필터링합니다.
- 인스턴스: 해당 Agent 유형의 특정 인스턴스를 필터링하며 인스턴스 이름을 검색할 수 있습니다. 특정 Agent 유형을 선택하면 인스턴스 필터에 해당 유형의 인스턴스만 표시됩니다. Agent 유형을 선택하지 않으면 인스턴스 필터는 기본적으로 전체 인스턴스로 설정되지만 선택할 수 없습니다.
LLM 상태¶
LLM 상태로 전환하면 페이지 상단에 애플리케이션 필터 컨트롤이 표시되어 전체 애플리케이션 또는 특정 LLM 애플리케이션을 선택하여 볼 수 있습니다.
조회 모드¶
User 목록¶
Agent 전체 탐색기는 User 기준으로 Agent 유형을 넘나들며 데이터를 집계할 수 있습니다. 개별 Agent 유형 상세 페이지에도 User 탭이 제공되어 해당 유형의 User 사용 현황을 확인할 수 있습니다.
Agent Teams 데이터의 경우 User 차원이 워크스페이스 멤버와 연결되며, 사용자 이름도 함께 표시되어 해당 사용자를 식별하기 쉽습니다.
Agent 유형 상세 페이지에는 다음과 같은 최상위 탭이 포함됩니다.
Session 목록¶
기본적으로 Session 차원의 데이터가 표시되며, 목록 필드에는 Session ID, 입력 Token, 출력 Token, 위험 이벤트 수, 알림 등급이 포함됩니다. 왼쪽의 빠른 필터는 Token 구간, 모델 제공자, 요청 모델, 응답 모델 등 기준으로 필터링할 수 있습니다. 목록, 상위 목록, 시계열 차트, 파이 차트, 트리맵, 그룹형 테이블 차트 등 다양한 분석 보기를 지원합니다.
- 위험 이벤트 수: 현재 Session에서 감지된 위험 이벤트의 총 개수입니다.
- 알림 등급: 현재 Session의 위험 이벤트 중 최고 알림 등급입니다. 위험 이벤트가 없으면 무위험 상태로 표시됩니다.
특정 행을 클릭하면 Session 상세 페이지로 이동합니다.
- 개요: 왼쪽에는 Session Trace 워터폴 차트가 표시되고, 오른쪽에는 미리보기, 속성 정보, 현재 Session의 알림 등급이 표시됩니다.
- 호출 분석: 모델 호출 비율, Tool 실행 비율, Skill 실행 비율과 현재 Session과 연결된 Trace 및 위험 이벤트를 표시합니다. 위험 이벤트에는 알림 등급, 관련 작업, 발생 시간 등의 정보가 표시됩니다.
Trace 목록¶
Trace 목록 탭으로 전환하면 Trace 차원으로 데이터를 볼 수 있습니다. 목록 필드에는 Trace ID, 소속 Session, Trace 소요 시간, 입력 Token, 출력 Token, Trace 상태, 위험 작업 수, 알림 등급이 포함됩니다.
- 위험 작업 수: 현재 Trace에서 위험한 작업으로 표시된 작업의 개수입니다.
- 알림 등급: 현재 Trace의 모든 위험 작업 중 최고 알림 등급입니다.
특정 행을 클릭하면 Trace 상세 페이지로 이동합니다.
- 개요: 워터폴 차트로 Trace 호출 과정을 표시하고 현재 Trace의 알림 등급을 보여 줍니다. 아래에는 Span 상세 정보가 표시됩니다.
- 호출 분석: Tool 및 Skill 호출 기록을 표시합니다. 위험한 작업에는 위험 표시가 표시되며 관련 Tool, Skill 및 기타 작업 정보에도 위험 등급이 함께 표시됩니다.
상세 페이지¶
상세 페이지로 들어가면 왼쪽에 애플리케이션에서 생성된 개별 Span 및 Trace가 표시되고, 오른쪽에 해당 미리보기 및 속성 정보가 표시됩니다.
위험 알림¶
시스템은 Agent 실행 과정에서 발생한 위험 이벤트를 기반으로 Session, Trace, Tool, Skill 등의 객체에 위험 표시를 지정합니다.
위험 알림 정보는 다음 위치에 표시될 수 있습니다.
| 위치 | 표시 내용 |
|---|---|
| Session 목록 | 위험 이벤트 수, 알림 등급 |
| Session 개요 | 현재 Session의 알림 등급 |
| Session 호출 분석 | 위험 이벤트 및 연결된 Trace |
| Trace 목록 | 위험 작업 수, 알림 등급 |
| Trace 개요 | 현재 Trace의 알림 등급 |
| Trace 상세 | 위험한 작업 표시, Tool, Skill 등 작업의 위험 등급 |
Session 또는 Trace에 여러 위험 이벤트가 포함된 경우 목록과 개요에는 그중 최고 알림 등급이 표시됩니다. 호출 분석의 위험 이벤트에서 특정 위험 이벤트 또는 위험한 작업을 클릭하면 보안 모니터링으로 이동하여 세부 정보를 확인할 수 있습니다.
관련 작업¶
- 노드 이름
source를 기준으로 검색하여 위치를 찾습니다. - 지표 및 점수 표시 여부를 선택합니다.
지표와 점수란 무엇인가요?
- 지표:
duration시간 표시 - 점수: 모델 품질 평가 점수, 설명 등 정보
미리보기¶
노드 유형, 노드 이름, 실행 소요 시간, Token 사용량, 실행 상태, 실행 세부 정보가 포함됩니다.
상태 표시¶
실행 상태(status) |
가능한 원인 |
|---|---|
| 성공: Success | |
| 실패: Error | Agent/LLM 호출 시간 초과, 도구 비정상 응답 등 |
| 경고: Warning | 출력 내용이 민감 단어 감지를 트리거했지만 실행이 중단되지 않은 경우 등 |
실행 세부 정보¶
애플리케이션의 Input(입력)과 Output(출력)을 표시합니다. 전자는 모델로 최종 전송되는 요청을 구성하는 모든 요소를 포함하고, 후자는 입력을 기반으로 생성된 결과를 표시합니다.
LangChain OpenTelemetry로 연동된 데이터의 경우 시스템은 gen_ai 관련 속성을 Input, Output 및 Token 정보로 파싱합니다. 원본 데이터에 해당 속성이 없으면 페이지에 빈 값으로 표시됩니다.
속성 정보¶
현재 Span 또는 Trace에 포함된 관련 필드 정보입니다.
관련 뷰¶
오른쪽 상단의 + 버튼을 통해 현재 상세 페이지에 내장 뷰를 바인딩하여 Agent/LLM 데이터를 특화된 방식으로 표시할 수 있습니다.
- 추가 버튼을 클릭합니다.
- 연결할 필드를 선택합니다.
- 표시된 내장 뷰 바인딩 패널에서 연결할 뷰를 선택합니다.
- 바인딩이 완료되면 새로 추가된 탭이 탭 표시줄에 나타납니다.
추가 자료¶
다음 내용에 관심이 있을 수 있습니다.