분석 대시보드¶

Agent 모니터링 > 분석 대시보드에서 선택한 애플리케이션의 메트릭 정보를 차트로 확인하여 애플리케이션 성능과 비용 분포를 전반적으로 파악할 수 있습니다.

Agent 요약 페이지의 애플리케이션 진입점에서도 분석 대시보드로 이동할 수 있습니다. 특정 Agent로 진입하면 시스템이 해당 Agent의 필터 조건을 자동으로 적용합니다.

페이지 상단에서 Agent / LLM 상태를 전환할 수 있으며, 기본값은 Agent 상태입니다.

LLM 모니터링¶

LLM 모니터링 애플리케이션을 선택하면 분석 대시보드에 다음 내용이 표시됩니다.

핵심 지표 개요¶

대시보드 상단에는 선택한 시간 범위의 주요 지표 통계가 표시됩니다.

1. 요청 수: 총 요청 횟수 통계
2. Span 수: 연결된 Span 호출 총수
3. 요청 오류율: 실패한 요청이 전체 요청에서 차지하는 비율
4. 총 Token 소비량: 모든 요청에서 소비된 Token 총량
5. 평균 응답 시간: 모든 요청의 평균 처리 시간

추세 분석 차트¶

다차원 추세 차트를 통해 애플리케이션 성능과 사용 추세의 변화를 추적할 수 있습니다.

1. 요청 추세 차트: 시간대별 요청량 분포를 확인하여 사용 피크 식별
2. 요청 오류율: 오류율 변화 추세를 표시하여 이상 변동을 빠르게 감지
3. 요청 응답 시간: Avg, P75, P90, P99 백분위 소요 시간을 표시하여 긴 꼬리 지연 문제 파악
4. Token 소비 추세 차트: Token 사용량의 시간 분포를 표시하여 비용 예측 지원
5. 첫 번째 토큰 평균 응답 시간(TTFT): 첫 토큰 지연 시간을 측정하여 모델 응답 속도 확인

모델 및 사용자 분석¶

모델 차원과 사용자 차원에서 리소스 사용량과 성능을 분석합니다.

1. 모델별 요청 수 비율: 도넛 차트로 모델별 호출 분포 표시(예: qwen3:1.7b)
2. 모델별 Token 사용량 상위 목록: 모델별 리소스 소비 비교
3. 모델별 요청 응답 분석(Top 20): 모델별 요청 수, 평균/최대 소요 시간, 백분위 소요 시간 등 상세 성능 지표를 표로 표시
4. 사용자 요청 수 상위 목록(Top 10): 사용 빈도가 높은 사용자 식별
5. 사용자 Token 소비 상위 목록(Top 10): 비용이 높은 사용자 파악, 비용 배분 지원

Agent 모니터링¶

Agent 모니터링 애플리케이션을 선택하면 분석 대시보드가 실행 개요, 모델 및 Token, Tool 모듈, Skill 모듈별로 Agent Runtime의 호출, Token, 소요 시간 데이터를 표시합니다.

필터 조건¶

페이지에서 다음 조건으로 대시보드 데이터를 필터링할 수 있습니다.

• Agent 유형
• Agent ID
• Agent 이름
• 모델 제공자

Agent ID와 Agent 이름의 선택 가능한 값은 상위 필터 조건에 따라 연동되어 업데이트됩니다. 시간 범위나 필터 조건을 변경하면 대시보드의 개요, 분포, 추세, 표 데이터가 함께 새로고침됩니다.

실행 개요¶

실행 개요에는 현재 시간 범위의 전체 호출 및 Token 사용 현황이 표시됩니다.

• 총 작업 수: Tool, Skill, LLM 호출 수의 합
• Tool 호출 총수: Tool 작업의 호출 수
• LLM 호출 총수: 모델 대화의 호출 수이며, 한 번의 비즈니스 요청에 여러 번의 LLM 호출이 포함될 수 있습니다.
• Skill 호출 총수: Skill의 호출 수이며, Skill 데이터를 보고하지 않으면 0으로 표시됩니다.
• Token 총량: 입력, 출력 등 각 유형의 Token 사용량 합계
• LLM 호출당 평균 Token: Token 총량과 LLM 호출 총수의 비율
• 모델 제공자 분포: 모델 제공자별 LLM 호출 비율 표시
• 모델 호출 분포: 모델별 LLM 호출 수 표시
• Tool 호출 분포: Tool 이름별 호출 비율 표시
• Skill 호출 Top 10: 호출 수가 가장 많은 10개 Skill 표시

개요 카드와 분포 차트는 현재 시간 범위의 Counter 증가분을 기준으로 계산되며, 해당 기간에 실제로 증가한 호출 수 또는 Token 사용량을 표시합니다. Counter의 누적 값이 아닙니다.

모델 및 Token¶

모델 및 Token 모듈은 모델 호출 수, Token 소비, 호출 소요 시간을 분석합니다.

• LLM 호출 추세: 모델별 LLM 호출량 추세 표시
• 입력/출력 Token 추세: Token 유형별 사용량 추세 표시
• 모델별 Token 추세: 모델별 Token 사용량 추세 표시
• LLM 호출 소요 시간 백분위수 표: Agent 유형별 LLM 호출 수와 P50, P75, P90, P99 호출 소요 시간 표시
• 첫 Token 평균 도달 시간(TTFT): Agent가 모델을 호출한 후 첫 번째 Token이 반환될 때까지의 대기 시간을 확인하여 첫 토큰 응답 속도 분석

추세 차트는 대시보드의 자동 시간 간격을 사용하여 각 시간 구간의 증가분 데이터를 계산합니다.

Tool 모듈¶

Tool 모듈은 Tool의 활성 수, 호출 추세, 소요 시간, 이상 현황을 표시합니다.

• 활성 Tool 수: 현재 시간 범위에서 호출 수가 0보다 큰 Tool 수
• Tool 최대 소요 시간: 현재 시간 범위에서 Tool 호출의 최대 소요 시간
• Tool 호출 추세: Tool 이름별 호출량 추세 표시
• Tool 평균 소요 시간: Tool 이름별 각 시간 간격의 평균 호출 소요 시간 표시
• Tool 이상 Top 10: 이상 호출 수가 가장 많은 10개 Tool과 그 변화 추세 표시

Skill 모듈¶

Skill 모듈은 Skill의 활성 수, 호출 추세, 소요 시간, 이상 현황을 표시합니다.

• 활성 Skill 수: 현재 시간 범위에서 호출 수가 0보다 큰 Skill 수이며, Skill 데이터를 보고하지 않으면 0으로 표시됩니다.
• Skill 최대 소요 시간: 현재 시간 범위에서 Skill 호출의 최대 소요 시간이며, Skill 호출이 없으면 데이터 없음으로 표시됩니다.
• Skill 호출 추세: Skill 이름별 호출량 추세 표시
• Skill 평균 소요 시간: Skill 이름별 각 시간 간격의 평균 호출 소요 시간 표시
• Skill 이상 Top 10: 이상 호출 수가 가장 많은 10개 Skill과 그 변화 추세 표시

더 읽어보기¶

다음 내용도 확인해 보세요.