분석 대시보드¶

Agent 모니터링 > 분석 대시보드에서 선택한 애플리케이션의 메트릭 정보를 차트 형태로 확인하여 애플리케이션 성능과 비용 분포를 전반적으로 파악할 수 있습니다.

Agent 개요 페이지의 애플리케이션 진입점을 통해 분석 대시보드에 접근할 수도 있습니다. 특정 Agent를 통해 진입하면 시스템이 자동으로 해당 Agent의 필터 조건을 적용합니다.

페이지 상단에서 Agent / LLM 상태를 전환할 수 있으며, 기본값은 Agent 상태입니다.

LLM 모니터링¶

LLM 모니터링 애플리케이션을 선택하면 분석 대시보드에 다음 내용이 표시됩니다.

핵심 지표 개요¶

대시보드 상단에는 선택한 시간 범위 내의 주요 지표 통계가 표시됩니다.

1. 요청 수: 총 요청 횟수 통계
2. Span 수: 관련 Span 호출 총 수
3. 요청 오류율: 실패한 요청이 전체 요청에서 차지하는 비율
4. 총 Token 소비량: 모든 요청에서 소비한 총 Token 양
5. 평균 응답 시간: 모든 요청의 평균 처리 시간

트렌드 분석 차트¶

다차원 트렌드 차트를 통해 애플리케이션 성능과 사용 트렌드의 변화를 추적할 수 있습니다.

1. 요청 트렌드 차트: 시간대별 요청량 분포를 확인하여 사용 피크 식별
2. 요청 오류율: 오류율 변화 추세를 표시하여 비정상적인 변동을 신속하게 감지
3. 요청 응답 시간: Avg, P75, P90, P99 백분위수 지연 시간을 표시하여 긴 꼬리 지연 문제 식별
4. Token 소비 트렌드 차트: Token 사용량의 시간 분포를 표시하여 비용 예측 지원
5. 첫 번째 토큰의 평균 응답 시간(TTFT): 첫 글자 지연 시간을 측정하여 모델 응답 속도 반영

모델 및 사용자 분석¶

모델 차원과 사용자 차원에서 리소스 사용 및 성능을 분석합니다.

1. 모델별 요청 수 비율: 도넛 차트로 다양한 모델의 호출 분포 표시 (예: qwen3:1.7b)
2. 모델별 Token 사용량 순위: 모델 간 리소스 소비 비교
3. 모델별 요청 응답 분석(Top 20): 테이블에 각 모델의 요청 수, 평균/최대 지연 시간, 백분위수 지연 시간 등 상세 성능 지표 표시
4. 사용자 요청 수 순위(Top 10): 빈도가 높은 사용자 식별
5. 사용자 Token 소비 순위(Top 10): 비용이 높은 사용자를 파악하여 비용 분담 지원

Agent 모니터링¶

Agent 모니터링 애플리케이션을 선택하면 분석 대시보드가 실행 개요, 모델 및 Token, Tool 모듈, Skill 모듈별로 Agent Runtime의 호출, Token 및 지연 시간 데이터를 표시합니다.

필터 조건¶

페이지에서 다음 조건에 따라 대시보드 데이터를 필터링할 수 있습니다.

• Agent 유형;
• Agent ID;
• Agent 이름;
• 모델 제공자.

Agent ID 및 Agent 이름의 선택 가능한 값은 상위 필터 조건에 따라 연동되어 업데이트됩니다. 시간 범위 또는 필터 조건을 전환하면 대시보드의 개요, 분포, 트렌드 및 테이블 데이터가 동기적으로 새로고침됩니다.

실행 개요¶

실행 개요는 현재 시간 범위 내의 전체 호출 및 Token 사용 현황을 표시합니다.

• 총 작업 수: Tool, Skill 및 LLM 호출 수의 합계;
• Tool 호출 총 수: Tool 작업의 호출 수;
• LLM 호출 총 수: 모델 대화의 호출 수, 한 번의 비즈니스 요청에 여러 번의 LLM 호출이 포함될 수 있음;
• Skill 호출 총 수: Skill의 호출 수, Skill 데이터가 보고되지 않은 경우 0으로 표시;
• 총 Token 량: 입력, 출력 등 다양한 유형의 Token 사용량 합계;
• LLM 호출당 평균 Token: 총 Token 량을 LLM 호출 총 수로 나눈 값;
• 모델 제공자 분포: 모델 제공자별 LLM 호출 비율 표시;
• 모델 호출 분포: 모델별 LLM 호출 수 표시;
• Tool 호출 분포: Tool 이름별 호출 비율 표시;
• Skill 호출 Top 10: 호출 수가 가장 많은 10개의 Skill 표시.

개요 카드와 분포 차트는 현재 시간 범위 내의 Counter 증분을 기준으로 계산되며, 해당 기간 내에 실제로 새로 발생한 호출량 또는 Token 사용량을 표시하며 Counter의 누적 값이 아닙니다.

모델 및 Token¶

모델 및 Token 모듈은 모델 호출량, Token 소비 및 호출 지연 시간을 분석하는 데 사용됩니다.

• LLM 호출 트렌드: 모델별 LLM 호출량 트렌드 표시;
• 입력/출력 Token 트렌드: Token 유형별 사용량 트렌드 표시;
• 모델별 Token 트렌드: 모델별 Token 사용량 트렌드 표시;
• LLM 호출 지연 시간 백분위수 테이블: Agent 유형별 LLM 호출 수 및 P50, P75, P90, P99 호출 지연 시간 표시.

트렌드 차트는 대시보드 자동 시간 간격을 사용하여 각 시간대의 증분 데이터를 계산합니다.

Tool 모듈¶

Tool 모듈은 Tool의 활성 수, 호출 트렌드, 지연 시간 및 예외 상황을 표시합니다.

• 활성 Tool 수: 현재 시간 범위 내에서 호출 수가 0보다 큰 Tool의 수;
• Tool 최대 지연 시간: 현재 시간 범위 내에서 Tool 호출의 최대 지연 시간;
• Tool 호출 트렌드: Tool 이름별 호출량 트렌드 표시;
• Tool 평균 지연 시간: Tool 이름별 각 시간 간격의 평균 호출 지연 시간 표시;
• Tool 예외 Top 10: 예외 호출 수가 가장 많은 10개의 Tool과 그 변화 트렌드 표시.

Skill 모듈¶

Skill 모듈은 Skill의 활성 수, 호출 트렌드, 지연 시간 및 예외 상황을 표시합니다.

• 활성 Skill 수: 현재 시간 범위 내에서 호출 수가 0보다 큰 Skill의 수, Skill 데이터가 보고되지 않은 경우 0으로 표시;
• Skill 최대 지연 시간: 현재 시간 범위 내에서 Skill 호출의 최대 지연 시간, Skill 호출이 없으면 데이터 없음으로 표시;
• Skill 호출 트렌드: Skill 이름별 호출량 트렌드 표시;
• Skill 평균 지연 시간: Skill 이름별 각 시간 간격의 평균 호출 지연 시간 표시;
• Skill 예외 Top 10: 예외 호출 수가 가장 많은 10개의 Skill과 그 변화 트렌드 표시.

더 읽어보기¶

다음 내용에 관심이 있으실 수 있습니다.