LLM 모니터링 애플리케이션 생성¶
- Agent 모니터링 > 애플리케이션 목록으로 이동합니다.
- 애플리케이션 생성을 클릭합니다.
- LLM 모니터링 애플리케이션 탭을 선택합니다.
통합 유형¶
애플리케이션 생성 페이지로 이동하면 현재 기본적으로 Langfuse 연동을 지원합니다.
연동 설정¶
여기서는 세 가지 유형을 지원합니다.
Python 연동¶
1. 의존성 설치¶
2. 클라이언트 초기화¶
3. 연결 확인¶
langfuse.auth_check()를 사용하여 연동 성공 여부를 확인할 수 있습니다. 이는 애플리케이션의 지연 시간을 증가시키므로 프로덕션 환경에서는 사용하지 않는 것이 좋습니다.
from langfuse import Langfuse
# 초기화(매개변수 직접 전달)
langfuse = Langfuse(
public_key="app_id",
secret_key="llm_d9f06c320a9***6e9807",
host="https://llm-openway.guance.com"
)
# 연결 확인. 동기 호출이며 프로덕션 환경에서는 권장하지 않습니다. 이 메서드는 구성 검증에만 사용됩니다.
if langfuse.auth_check():
print("Langfuse client is authenticated and ready!")
연동에 실패하면 다음과 같은 오류가 발생할 수 있습니다.
langfuse.api.resources.commons.errors.unauthorized_error.UnauthorizedError: status_code: 401, body: {}
이 오류는 일반적으로 App ID 또는 Client Token이 올바르지 않음을 나타냅니다. 매개변수 구성을 확인하세요.
자세한 정보와 엔드 투 엔드 예제는 Python을 참조하세요.
JS/TS 연동¶
주의
이 구성은 Langfuse JS/TS SDK v4에만 적용되며 v3 버전은 지원되지 않습니다.
1. 의존성 설치¶
추가 패키지 정보를 클릭하여 확인하세요.
2. 자격 증명 등록¶
애플리케이션 환경에 다음 환경 변수를 설정합니다. 프로젝트 루트 디렉터리에 .env 파일과 dotenv 같은 변수 로드용 패키지가 있는지 확인하세요.
LANGFUSE_SECRET_KEY="llm_122f6b85d0c7454fa0f9*****d360"
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://llm-openway.guance.com"
3. OpenTelemetry 초기화¶
Langfuse SDK의 트레이싱은 OpenTelemetry를 기반으로 하므로 OpenTelemetry SDK를 설정해야 합니다. LangfuseSpanProcessor는 트레이스를 Langfuse로 전송하는 핵심 구성 요소입니다.
import { NodeSDK } from "@opentelemetry/sdk-node";
import { LangfuseSpanProcessor } from "@langfuse/otel";
const sdk = new NodeSDK({
spanProcessors: [new LangfuseSpanProcessor()],
});
sdk.start();
Ollama 연동 예제를 클릭하여 확인하세요.
자세한 정보와 엔드 투 엔드 예제는 JS/TS를 참조하세요.
기타 연동¶
DeepSeek, Ollama, LangChain, Dify 등 다른 모델/프레임워크를 연동해야 하는 경우 Langfuse 공식 전체 문서를 참조하여 구성하세요.
LangChain OpenTelemetry 연동¶
OpenTelemetry를 통해 LangChain 애플리케이션을 연동할 수 있습니다. 연동을 완료하면 LLM 애플리케이션 모니터링에서 호출 트레이스, 입력, 출력 및 Token 사용량 등의 정보를 확인할 수 있습니다.
시스템은 OpenTelemetry gen_ai 관련 속성을 파싱하여 다음을 표시합니다.
- Input: 모델 호출의 입력 내용
- Output: 모델이 반환한 출력 내용
- Token: 입력, 출력 및 총 Token 사용량
- 모델, 서비스 및 호출 상태 등 관련 정보
Note
페이지에 표시되는 내용은 보고된 데이터에 해당 gen_ai 속성이 포함되어 있는지에 따라 달라집니다. 보고되지 않은 필드는 표시되지 않으며, 다른 트레이스 데이터 조회에는 영향을 미치지 않습니다.
코드 내 변수 입력¶
페이지 오른쪽에서 다음 정보를 입력합니다.
| 필드 | 설명 |
|---|---|
| 애플리케이션 이름 | 사용자 정의 애플리케이션 이름 |
| 애플리케이션 ID | 공개 키. 영문, 숫자, 밑줄만 지원하며 트레이스, 로그, 메트릭에서 현재 애플리케이션에 귀속시키는 데 사용됩니다. |
| 서비스 주소 | Dataway 게이트웨이 주소 입력 |
| Client Token | 애플리케이션 생성 후 자동으로 생성되며 사용자 디바이스에서 데이터를 전송하는 데 사용됩니다. |
Client Token이란 무엇인가요?
애플리케이션 생성 후 시스템이 Client Token을 자동으로 생성합니다. 이 토큰은 사용자 디바이스에서 데이터를 전송하는 데 사용됩니다.
자세한 내용은 Client Token 관리를 참조하세요.
정보가 올바른지 확인한 후 생성을 클릭하여 LLM 모니터링 애플리케이션 연동을 완료합니다.