OpenRouter
OpenRouter Broadcast를 사용해 모델 호출 데이터를 Guance에 전송하고 Token 사용량, 비용, 응답 시간 및 실패한 호출을 확인합니다.
구성¶
사전 요구 사항¶
Guance 워크스페이스에서 LLM 애플리케이션을 생성할 권한과 OpenRouter의 Observability 구성 권한이 필요합니다.
LLM 애플리케이션 생성¶
Guance에서 Agent 모니터링 → LLM으로 이동해 새 애플리케이션을 생성합니다. 통합 유형으로 Langfuse를 선택하고 이름에 OpenRouter를 입력합니다. 연결 페이지에 제공되는 서비스 주소, 애플리케이션 ID 및 Client Token을 기록합니다.
Broadcast 구성¶
애플리케이션 ID와 Client Token을 콜론으로 연결한 후 Base64로 인코딩합니다.
OpenRouter에서 Settings → Observability로 이동해 Enable Broadcast를 활성화합니다. OpenTelemetry Collector 유형의 대상을 추가하고 다음 구성을 입력합니다.
| 구성 항목 | 구성 값 |
|---|---|
| Endpoint | <서비스 주소>/api/public/otel/v1/traces |
| Headers | Authorization: Basic <이전 단계의 인코딩 결과>, x-langfuse-public-key: <애플리케이션 ID> |
| 샘플링 비율 | 전체 사용량 통계가 필요하면 100%로 설정 |
| API Key 필터 | 수집할 API Key를 선택하고 전체 호출을 수집하려면 Global 선택 |
| 데이터 옵션 | 비용 및 요청 컨텍스트 옵션을 활성화하고 입출력 본문이 필요하면 Privacy Mode 비활성화 |
Test Connection을 클릭하고 테스트가 성공하면 저장합니다.
검증¶
OpenRouter 모델을 한 번 호출하고 해당 LLM 애플리케이션에 호출 기록이 표시되는지 확인한 다음 함께 제공되는 대시보드와 모니터를 가져옵니다.
메트릭¶
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
input_tokens |
입력 Token 수 | model_name, status | token |
output_tokens |
출력 Token 수 | model_name, status | token |
total_tokens |
총 Token 수 | model_name, status | token |
duration |
모델 호출 소요 시간 | model_name, status | μs |
model_name |
모델 이름 | model_name, status | - |
status |
호출 상태 | model_name, status | - |
trace_id |
호출 Trace ID | model_name, status | - |
trace.metadata.openrouter_generation.request_id |
OpenRouter 요청 ID | model_name, status | - |
trace.metadata.openrouter_generation.is_byok |
BYOK 표시 | model_name, status | - |
trace.metadata.openrouter_generation.byok_usage_inference |
BYOK 업스트림 추론 비용 | model_name, status | USD |
gen_ai.usage.total_cost |
OpenRouter 호출 비용 | model_name, status | USD |
trace.metadata.openrouter.provider_name |
실제 제공업체 이름 | model_name, status | - |
trace.metadata.provider_responses |
제공업체 응답 메타데이터 | model_name, status | - |