Agent 모니터링¶

Agent 모니터링은 Agent/LLM 요청을 애플리케이션 전체 트레이스와 연계하여 각 대화의 전체 흐름을 추적하고, 생성 작업마다 소비된 Token 수를 정확하게 측정합니다.

실제 Agent 모니터링 서비스를 사용할 때 다음을 수행할 수 있습니다.

단일 요청의 전체 트레이스 확인: 사용자 질문이 수신되고 처리(예: 데이터베이스 쿼리)된 후 LLM 모델을 호출하여 답변을 반환하기까지의 전체 과정을 명확하게 확인할 수 있습니다.
성능 병목 분석: 모델 호출, 데이터 검색 등 각 단계의 소요 시간을 정확하게 측정하여 지연을 신속하게 감지할 수 있습니다.
상하위 서비스 연계: Agent/LLM 요청을 관련 애플리케이션 및 인프라 지표와 연계하여 종합적인 근본 원인 분석을 수행할 수 있습니다.

핵심 기능¶

Agent 모니터링의 핵심은 입력(Prompt), 출력(Completion)과 시스템 동작 간의 정량화 가능한 연관성을 구축하는 것입니다. 핵심 기능은 세 가지 차원에서 제공됩니다.

1. 전체 트레이스 추적

Agent/LLM 호출 프레임워크에서 Trace와 Span을 통해 요청의 전체 트레이스를 정확하게 추적하여 지연 병목을 파악합니다.

Prompt Eval과 Schema Eval을 통해 모델 출력을 온라인 또는 일괄 평가하고 점수와 규칙 적중 결과를 확인할 수 있습니다. Prompt Eval은 평가 목표를 설명하여 구성을 생성할 수 있으며, 사용자 정의 평가 입력을 통해 전달할 컨텍스트를 선택할 수 있습니다. 수동 주석을 통해 출력을 재검토하고 샘플을 데이터셋에 저장하여 이후 일괄 평가에 활용할 수 있습니다.

3. 비용 측정

각 요청의 Token 소비량(입력/출력 구분), 모델 유형 및 호출 파라미터를 자동으로 수집하고 연계하여 다양한 비즈니스 차원을 기반으로 한 비용 배분 기능을 제공합니다.

시작하기¶

애플리케이션 목록¶

애플리케이션 목록에서 모니터링 애플리케이션을 생성하고 관리할 수 있습니다. Agent 모니터링 애플리케이션은 유형에 따라 Agent 애플리케이션과 Agent 프레임워크로 구분됩니다.

Agent 애플리케이션: Codex, Claude Code, OpenClaw, Hermes, Qoder, WorkBuddy, OpenCode, CodeBuddy, Cursor, DeepSeek Harness, Opm, mimo 및 pi를 지원합니다. 각 유형의 연동 방법은 Agent 모니터링 애플리케이션 생성을 참조하세요.
Agent 프레임워크: AgentScope, Spring AI Alibaba 및 Deep Agents를 지원하며, OpenTelemetry를 통해 수동으로 연동합니다.
LLM 모니터링 애플리케이션: Langfuse를 통한 연동을 지원합니다.

페이지 안내의 파라미터 구성이 완료되면 데이터 수집을 시작할 수 있습니다.

요약 페이지에서는 ‘표시 항목’을 통해 표시할 Agent 유형을 사용자 지정하고 각 유형의 표시 순서를 조정할 수 있습니다.

데스크톱에서 Codex, Claude Code, WorkBuddy의 사용량 정보를 통합 조회하거나 그래픽 인터페이스를 통해 기본 수집 및 확장 수집을 관리하려면 AgentMeter 사용 가이드를 참조하세요. Agent별 지원 사용량 지표는 가이드의 설명을 기준으로 합니다.

탐색기¶

데이터 연동 후 탐색기에서 Session 또는 Trace 기준으로 데이터를 검색하고 필터링할 수 있습니다.

User 목록: user_id를 기준으로 User 사용 현황을 집계하여 Agent 유형, 인스턴스, Session, 요청 수, Token 또는 포인트 소비량 및 최근 활성 시간을 확인합니다.
Session 목록: Session ID, 입력/출력 Token, 위험 이벤트 수와 알림 등급을 확인하고, 상세 페이지로 드릴다운하여 Trace 워터폴 차트, 모델/Skill/Tool 호출 비율, 호출 상세 및 위험 이벤트를 확인합니다.
Trace 목록: Trace ID, 소속 Session, 소요 시간, Token, 상태, 위험 작업 수와 알림 등급을 확인하고, 드릴다운하여 Span 상세, 위험한 작업, 도구 호출 기록 및 Skill 호출 기록을 확인합니다.

분석 대시보드¶

분석 대시보드를 통해 차트 형식으로 애플리케이션 실행 상태를 한눈에 파악할 수 있습니다. 애플리케이션 유형별로 필터링하여 조회할 수 있으며, 애플리케이션 유형에 따라 분석 대시보드의 표시 내용이 다릅니다.

LLM 모니터링 애플리케이션: 요청 수, Span 수, 요청 오류율, 총 Token 소비량, 평균 응답 시간 등의 개요 지표와 요청 추세 그래프, Token 소비 추세 그래프, 모델별 요청 수 비율, 모델별 Token 사용량 순위를 표시합니다.
Agent 모니터링 애플리케이션: 실행 개요, 모델 및 Token, Tool 모듈, Skill 모듈 네 가지 모듈로 표시합니다.
- 실행 개요: 총 작업 수, Tool, LLM, Skill 호출 총계, 총 Token 수 및 모델, Tool, Skill 호출 분포
- 모델 및 Token: LLM 호출 추세, 입력/출력 Token 추세, 모델별 Token 추세, LLM 호출 소요 시간 백분위수 및 첫 Token 평균 도달 시간(TTFT)
- Tool 모듈: 활성 Tool 수, 최대 소요 시간, 호출 추세, 평균 소요 시간 및 비정상 Top 10
- Skill 모듈: 활성 Skill 수, 최대 소요 시간, 호출 추세, 평균 소요 시간 및 비정상 Top 10