콘텐츠로 이동

Agent 모니터링


Agent 모니터링은 Agent / LLM 요청을 애플리케이션 전체 트레이스와 연결하고, 각 대화의 전체 흐름을 추적하며, 각 생성 작업에서 소모되는 Token 수를 정확하게 측정합니다.

Agent 모니터링 서비스를 실제로 사용하면서 다음과 같은 작업을 수행할 수 있습니다.

  • 단일 요청의 전체 트레이스 확인: 사용자 질문이 수신되고 처리되며(예: 데이터베이스 쿼리), LLM 모델을 호출해 답변을 반환하는 전 과정을 명확하게 확인할 수 있습니다.
  • 성능 병목 분석: 각 단계(예: 모델 호출, 데이터 검색)의 소요 시간을 정확하게 측정하여 지연을 신속하게 발견할 수 있습니다.
  • 업스트림/다운스트림 서비스 연결: Agent / LLM 요청을 관련 애플리케이션 및 인프라 지표와 연결하여 포괄적인 근본 원인 분석을 수행할 수 있습니다.

핵심 기능

Agent 모니터링의 가장 핵심적인 부분은 입력(Prompt), 출력(Completion)과 시스템 동작 사이의 정량화 가능한 연관성을 구축하는 것입니다. 핵심 기능은 다음 세 가지 차원으로 나타납니다.

1. 전체 트레이스 추적

Agent / LLM 호출 프레임워크에서 Trace와 Span을 통해 요청의 전체 트레이스를 정확하게 추적하고 지연 병목을 식별합니다.

2. 출력 품질 평가

Prompt Eval 및 Schema Eval을 통해 모델 출력을 온라인 또는 일괄 평가하고, 점수 및 규칙 매칭 결과를 확인합니다. Prompt Eval은 평가 목표를 설명하여 구성을 생성하는 것을 지원하며, 사용자 지정 평가 입력을 통해 전달할 컨텍스트를 선택할 수 있습니다. 수동 레이블링을 통해 출력을 검토하고, 샘플을 데이터셋에 추가하여 중앙에서 관리할 수 있습니다.

3. 비용 측정

각 요청의 Token 소모(입력/출력 분해), 모델 유형 및 호출 파라미터를 자동으로 수집하고 연관 지어 다양한 비즈니스 차원을 기준으로 한 비용 배분 기능을 제공합니다.

시작하기

애플리케이션 목록

애플리케이션 목록으로 이동하면 모니터링 애플리케이션을 생성하고 관리할 수 있습니다. Agent 모니터링에는 Agent와 LLM 두 가지 연동 유형이 있으며, Agent 유형은 Agent 애플리케이션과 Agent 프레임워크로 구분됩니다. 각 유형의 연동 방식은 다음과 같습니다.

  • Agent 애플리케이션: Codex, Claude Code, OpenClaw, Hermes, Qoder, WorkBuddy, OpenCode, CodeBuddy, Cursor, DeepSeek Harness, Opm, mimo, pi 및 Qwen Work(데스크톱)를 지원합니다. 각 유형의 연동 방식은 Agent 모니터링 애플리케이션 생성을 참조하십시오.
  • Agent 프레임워크: AgentScope, Spring AI Alibaba 및 Deep Agents를 지원하며, OpenTelemetry를 통해 수동으로 연동합니다.
  • LLM 모니터링 애플리케이션: Langfuse를 통한 연동을 지원합니다.

페이지 안내에 따라 파라미터 구성을 완료하면 데이터 수집을 시작할 수 있습니다.

요약 페이지에서는 "표시 항목"을 통해 표시할 Agent 유형을 사용자 지정하고 각 유형의 표시 순서를 조정할 수 있습니다.

데스크톱에서 Codex, Claude Code 및 WorkBuddy의 사용량 정보를 한곳에서 확인하거나 GUI를 통해 기본 수집 및 확장 수집을 관리하려면 AgentMeter 사용 가이드를 참조하십시오. 각 Agent에서 지원하는 사용량 지표는 가이드의 설명을 기준으로 합니다.

탐색기

데이터 연동 후 탐색기에서 User, Session, Trace 또는 Span 관점으로 Agent 데이터를 조회하고 분석할 수 있습니다.

  • User 목록: user_id별로 User 사용 현황을 집계하고, Agent 유형, 인스턴스, Session, 요청량, Token 또는 크레딧 소모량 및 최근 활동 시간을 확인할 수 있습니다.
  • Session 목록: Session ID, 입력/출력 Token, 위험 이벤트 수 및 알림 등급을 확인하고, 상세 페이지로 드릴다운하여 Trace 워터폴 차트, 모델/Skill/Tool 호출 비중, 호출 상세 및 위험 이벤트를 확인할 수 있습니다.
  • Trace 목록: Trace ID, 소속 Session, 소요 시간, Token, 상태, 위험 작업 수 및 알림 등급을 확인하고, 드릴다운하여 Span 상세, 위험한 작업, 도구 호출 기록 및 Skill 호출 기록을 확인할 수 있습니다.
  • Span 목록: Trace 전반에서 실행 단계를 확인할 수 있습니다. 루트 Span을 선택하면 실행 진입점을 집중적으로 확인하고, 모든 Span을 선택하면 모델, 도구 및 스킬 호출을 분석할 수 있습니다.

분석 대시보드

분석 대시보드를 통해 애플리케이션 실행 상태를 차트 형식으로 요약 확인할 수 있습니다. 애플리케이션 유형별 필터링 조회를 지원하며, 애플리케이션 유형에 따라 분석 대시보드의 표시 내용이 다릅니다.

  • LLM 모니터링 애플리케이션: 요청 수, Span 수, 요청 오류율, 총 Token 소모량, 평균 응답 소요 시간 등의 개요 지표와 요청 추세 차트, Token 소모 추세 차트, 모델별 요청 수 비중, 모델별 Token 사용량 순위 등을 표시합니다.

  • Agent 모니터링 애플리케이션: 실행 개요, 모델 및 Token, Tool 모듈, Skill 모듈의 네 가지 모듈로 표시합니다.

    • 실행 개요: 총 작업 수, Tool/LLM/Skill 호출 총수, Token 총량 및 모델/Tool/Skill 호출 분포
    • 모델 및 Token: LLM 호출 추세, 입력/출력 Token 추세, 모델별 Token 추세, LLM 호출 소요 시간 백분위수 및 첫 Token 평균 도착 시간(TTFT)
    • Tool 모듈: 활성 Tool 수, 최대 소요 시간, 호출 추세, 평균 소요 시간 및 오류 Top 10
    • Skill 모듈: 활성 Skill 수, 최대 소요 시간, 호출 추세, 평균 소요 시간 및 오류 Top 10

문서 평가

이 페이지가 도움이 되었나요?