Agent 모니터링¶

Agent 모니터링은 Agent/LLM 요청을 전체 애플리케이션 추적链路와 연결하여 각 대화의 전체 흐름을 추적하고, 각 생성 작업에 소비된 Token 수를 정확하게 측정합니다.

Agent 모니터링 서비스를 실제로 사용할 때 다음을 수행할 수 있습니다.

단일 요청의 전체 추적链路 확인: 사용자 질문이 수신, 처리(예: 데이터베이스 쿼리), LLM 모델 호출을 거쳐 답변을 반환하는 전체 과정을 명확하게 확인합니다.
성능 병목 분석: 각 단계(예: 모델 호출, 데이터 검색)의 소요 시간을 정확하게 측정하여 지연 시간을 신속하게 파악합니다.
상하위 서비스 연결: Agent/LLM 요청을 관련 애플리케이션 및 인프라 메트릭과 연결하여 포괄적인 근본 원인 분석을 수행합니다.

핵심 기능¶

Agent 모니터링의 핵심은 입력(Prompt)과 출력(Completion) 그리고 시스템 동작 간의 정량적 관계를 구축하는 것입니다. 핵심 기능은 세 가지 차원으로 나타납니다.

1. 전체 추적链路 연동

Agent/LLM 호출 프레임워크 내에서 Trace와 Span을 통해 요청의 전체 추적链路를 정확하게 추적하여 지연 병목 현상을 찾아냅니다.

2. 품질 출력 평가

내부적으로 규칙 엔진과 AI 평가를 기반으로 출력 콘텐츠를 자동으로 최적화합니다.

3. 비용 측정

각 요청의 Token 소비량(입력/출력 분해), 모델 유형 및 호출 매개변수를 자동으로 수집하고 연결하여 여러 비즈니스 차원을 기반으로 한 비용 할당 기능을 제공합니다.

시작하기¶

애플리케이션 목록¶

애플리케이션 목록으로 이동하여 모니터링 애플리케이션을 생성하고 관리할 수 있습니다. 새 Agent 모니터링 애플리케이션 또는 LLM 모니터링 애플리케이션 생성을 지원합니다. Agent 모니터링 애플리케이션은 Codex, Claude Code, OpenClaw, Hermes, Qoder, WorkBuddy, OpenCode 및 AgentScope를 지원하며, AgentScope는 OpenTelemetry를 통해 수동으로 연결되고 다른 유형은 obs-agent-connector 설치 프로그램을 통해 연결됩니다. LLM 모니터링 애플리케이션은 Langfuse를 통한 연결을 지원합니다. 페이지 안내의 매개변수 구성을 완료하면 데이터 수집을 시작할 수 있습니다.

개요 페이지에서는 "표시 항목"을 통해 표시할 Agent 유형을 사용자 지정하고 각 유형의 표시 순서를 조정할 수 있습니다.

탐색기¶

데이터가 연결되면 탐색기에서 Session 또는 Trace 차원으로 데이터를 검색하고 필터링할 수 있습니다.

사용자 목록: user_id별로 사용자 사용 현황을 집계하여 Agent 유형, 인스턴스, Session, 요청량, Token 또는 포인트 소비, 최근 활동 시간을 확인합니다.
세션 목록: Session ID, 입력/출력 Token, 위험 이벤트 수 및 알림 수준을 확인하고, 상세 페이지로 드릴다운하여 Trace 워터폴 차트, 모델/Skill/Tool 호출 비율, 호출 세부 정보 및 위험 이벤트를 확인합니다.
트레이스 목록: Trace ID, 소속 Session, 소요 시간, Token, 상태, 위험 작업 수 및 알림 수준을 확인하고, 드릴다운하여 Span 세부 정보, 위험 작업, 도구 호출 기록 및 Skill 호출 기록을 확인합니다.

분석 대시보드¶

분석 대시보드를 통해 차트 형태로 애플리케이션 실행 상태를 한눈에 확인할 수 있습니다. 애플리케이션 유형별로 필터링하여 볼 수 있으며, 애플리케이션 유형에 따라 분석 대시보드에 표시되는 내용이 다릅니다.

LLM 모니터링 애플리케이션: 요청 수, Span 수, 요청 오류율, 총 Token 소비량, 평균 응답 지연 시간 등의 개요 메트릭과 요청 추세 차트, Token 소비 추세 차트, 모델별 요청 수 비율, 모델별 Token 사용량 순위 등을 표시합니다.
Agent 모니터링 애플리케이션: 운영 개요, 모델 및 Token, 도구 모듈, 스킬 모듈의 네 가지 모듈로 표시합니다.
- 운영 개요: 총 작업 수, 도구, LLM 및 스킬 호출 총 수, 총 Token 수, 모델, 도구, 스킬 호출 분포
- 모델 및 Token: LLM 호출 추세, 입력/출력 Token 추세, 각 모델별 Token 추세, LLM 호출 소요 시간 백분위수
- 도구 모듈: 활성 도구 수, 최대 소요 시간, 호출 추세, 평균 소요 시간, 이상 항목 상위 10
- 스킬 모듈: 활성 스킬 수, 최대 소요 시간, 호출 추세, 평균 소요 시간, 이상 항목 상위 10