LLM 모니터링 애플리케이션 생성¶

1. Agent 모니터링 > 애플리케이션 목록으로 이동합니다.
2. "애플리케이션 생성"을 클릭합니다.
3. LLM 모니터링 애플리케이션 탭을 선택합니다.

연동 유형¶

애플리케이션 생성 페이지에서 현재 기본적으로 Langfuse 연동을 지원합니다.

연동 설정¶

여기서는 세 가지 유형을 지원합니다.

Python 연동

JS/TS 연동

기타 모델/프레임워크 연동

Python 연동¶

1. 종속성 설치¶

pip install langfuse

2. 클라이언트 초기화¶

LANGFUSE_PUBLIC_KEY="app_id"
LANGFUSE_SECRET_KEY="llm_bb0f30d.....66eec"
LANGFUSE_HOST="https://llm-openway.guance.com"

from langfuse import Langfuse
langfuse = Langfuse()

from langfuse import Langfuse
langfuse = Langfuse(
  public_key="app_id",
  secret_key="llm_bb0f30d.....66eec",
  host="https://llm-openway.guance.com"
)

3. 연결 확인¶

langfuse.auth_check()를 사용하여 연동이 성공적으로 이루어졌는지 확인할 수 있습니다. 애플리케이션의 지연 시간이 증가할 수 있으므로 프로덕션 환경에서는 사용하지 않는 것이 좋습니다.

from langfuse import Langfuse
# 초기화 (매개변수 생성 방식)
langfuse = Langfuse(
    public_key="app_id",
    secret_key="llm_d9f06c320a9***6e9807",
    host="https://llm-openway.guance.com"
)
# 연결 확인 (동기 호출, 프로덕션 환경에서는 권장하지 않음, 이 메서드는 설정 확인 용도)
if langfuse.auth_check():
    print("Langfuse client is authenticated and ready!")

연동에 실패하면 다음과 같은 오류가 발생할 수 있습니다.

langfuse.api.resources.commons.errors.unauthorized_error.UnauthorizedError: status_code: 401, body: {}

이 오류는 일반적으로 App ID 또는 Client Token이 올바르지 않음을 의미합니다. 매개변수 구성을 확인하세요.

자세한 내용과 엔드투엔드 예제는 Python을 참조하세요.

JS/TS 연동¶

1. 종속성 설치¶

npm install @langfuse/tracing @langfuse/otel @opentelemetry/sdk-node

더 많은 패키지 정보 보기

2. 자격 증명 등록¶

애플리케이션 환경에서 다음 환경 변수를 설정합니다. 프로젝트 루트 디렉터리에 .env 파일과 dotenv와 같은 패키지가 있어 변수를 로드하는지 확인하세요.

LANGFUSE_SECRET_KEY="llm_122f6b85d0c7454fa0f9*****d360"
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://llm-openway.guance.com",

3. OpenTelemetry 초기화¶

Langfuse SDK의 추적은 OpenTelemetry를 기반으로 구축되므로 OpenTelemetry SDK를 설정해야 합니다. LangfuseSpanProcessor는 Langfuse로 추적을 전송하는 핵심 구성 요소입니다.

import { NodeSDK } from "@opentelemetry/sdk-node";
import { LangfuseSpanProcessor } from "@langfuse/otel";
const sdk = new NodeSDK({
  spanProcessors: [new LangfuseSpanProcessor()],
});
sdk.start();

Ollama의 연동 예제 보기

자세한 내용과 엔드투엔드 예제는 JS/TS를 참조하세요.

기타 연동¶

DeepSeek, Ollama, LangChain, Dify 등 다른 모델/프레임워크의 연동이 필요한 경우 Langfuse 공식 전체 문서를 참조하여 구성하세요.

LangChain OpenTelemetry 연동¶

OpenTelemetry를 통한 LangChain 애플리케이션 연동을 지원합니다. 연동 완료 후 LLM 모니터링 애플리케이션에서 호출 트레이스, 입력, 출력 및 Token 소비 등의 정보를 확인할 수 있습니다.

시스템은 OpenTelemetry gen_ai 관련 속성을 구문 분석하여 다음 정보를 표시합니다.

• Input: 모델 호출의 입력 내용
• Output: 모델이 반환한 출력 내용
• Token: 입력, 출력 및 총 Token 소비량
• 모델, 서비스 및 호출 상태 등 관련 정보

코드 내 변수 입력¶

페이지 오른쪽에서 다음 정보를 입력합니다.

정보가 올바른지 확인한 후 생성을 클릭하여 LLM 모니터링 애플리케이션 연동을 완료합니다.