콘텐츠로 이동

LLM 모니터링 애플리케이션 생성


  1. Agent 모니터링 > 애플리케이션 목록으로 이동합니다.
  2. 애플리케이션 생성을 클릭합니다.
  3. LLM 모니터링 애플리케이션 탭을 선택합니다.

통합 유형

애플리케이션 생성 페이지로 이동하면 현재 기본적으로 Langfuse 연동을 지원합니다.

연동 설정

여기서는 세 가지 유형을 지원합니다.

Python 연동

JS/TS 연동

기타 모델/프레임워크 연동

Python 연동

1. 의존성 설치

pip install langfuse

2. 클라이언트 초기화

애플리케이션 환경에 다음 환경 변수를 설정합니다.

LANGFUSE_PUBLIC_KEY="app_id"
LANGFUSE_SECRET_KEY="llm_bb0f30d.....66eec"
LANGFUSE_HOST="https://llm-openway.guance.com"

코드에서 다음과 같이 초기화합니다.

from langfuse import Langfuse
langfuse = Langfuse()

코드에서 직접 구성 매개변수를 전달합니다.

from langfuse import Langfuse
langfuse = Langfuse(
  public_key="app_id",
  secret_key="llm_bb0f30d.....66eec",
  host="https://llm-openway.guance.com"
)

3. 연결 확인

langfuse.auth_check()를 사용하여 연동 성공 여부를 확인할 수 있습니다. 이는 애플리케이션의 지연 시간을 증가시키므로 프로덕션 환경에서는 사용하지 않는 것이 좋습니다.

from langfuse import Langfuse
# 초기화(매개변수 직접 전달)
langfuse = Langfuse(
    public_key="app_id",
    secret_key="llm_d9f06c320a9***6e9807",
    host="https://llm-openway.guance.com"
)
# 연결 확인. 동기 호출이며 프로덕션 환경에서는 권장하지 않습니다. 이 메서드는 구성 검증에만 사용됩니다.
if langfuse.auth_check():
    print("Langfuse client is authenticated and ready!")

연동에 실패하면 다음과 같은 오류가 발생할 수 있습니다.

langfuse.api.resources.commons.errors.unauthorized_error.UnauthorizedError: status_code: 401, body: {}

이 오류는 일반적으로 App ID 또는 Client Token이 올바르지 않음을 나타냅니다. 매개변수 구성을 확인하세요.

자세한 정보와 엔드 투 엔드 예제는 Python을 참조하세요.

JS/TS 연동

주의

이 구성은 Langfuse JS/TS SDK v4에만 적용되며 v3 버전은 지원되지 않습니다.

1. 의존성 설치

npm install @langfuse/tracing @langfuse/otel @opentelemetry/sdk-node

추가 패키지 정보를 클릭하여 확인하세요.

2. 자격 증명 등록

애플리케이션 환경에 다음 환경 변수를 설정합니다. 프로젝트 루트 디렉터리에 .env 파일과 dotenv 같은 변수 로드용 패키지가 있는지 확인하세요.

LANGFUSE_SECRET_KEY="llm_122f6b85d0c7454fa0f9*****d360"
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_BASE_URL="https://llm-openway.guance.com"

3. OpenTelemetry 초기화

Langfuse SDK의 트레이싱은 OpenTelemetry를 기반으로 하므로 OpenTelemetry SDK를 설정해야 합니다. LangfuseSpanProcessor는 트레이스를 Langfuse로 전송하는 핵심 구성 요소입니다.

import { NodeSDK } from "@opentelemetry/sdk-node";
import { LangfuseSpanProcessor } from "@langfuse/otel";
const sdk = new NodeSDK({
  spanProcessors: [new LangfuseSpanProcessor()],
});
sdk.start();

Ollama 연동 예제를 클릭하여 확인하세요.

자세한 정보와 엔드 투 엔드 예제는 JS/TS를 참조하세요.

기타 연동

DeepSeek, Ollama, LangChain, Dify 등 다른 모델/프레임워크를 연동해야 하는 경우 Langfuse 공식 전체 문서를 참조하여 구성하세요.

LangChain OpenTelemetry 연동

OpenTelemetry를 통해 LangChain 애플리케이션을 연동할 수 있습니다. 연동을 완료하면 LLM 애플리케이션 모니터링에서 호출 트레이스, 입력, 출력 및 Token 사용량 등의 정보를 확인할 수 있습니다.

시스템은 OpenTelemetry gen_ai 관련 속성을 파싱하여 다음을 표시합니다.

  • Input: 모델 호출의 입력 내용
  • Output: 모델이 반환한 출력 내용
  • Token: 입력, 출력 및 총 Token 사용량
  • 모델, 서비스 및 호출 상태 등 관련 정보
Note

페이지에 표시되는 내용은 보고된 데이터에 해당 gen_ai 속성이 포함되어 있는지에 따라 달라집니다. 보고되지 않은 필드는 표시되지 않으며, 다른 트레이스 데이터 조회에는 영향을 미치지 않습니다.

코드 내 변수 입력

페이지 오른쪽에서 다음 정보를 입력합니다.

필드 설명
애플리케이션 이름 사용자 정의 애플리케이션 이름
애플리케이션 ID 공개 키. 영문, 숫자, 밑줄만 지원하며 트레이스, 로그, 메트릭에서 현재 애플리케이션에 귀속시키는 데 사용됩니다.
서비스 주소 Dataway 게이트웨이 주소 입력
Client Token 애플리케이션 생성 후 자동으로 생성되며 사용자 디바이스에서 데이터를 전송하는 데 사용됩니다.
Client Token이란 무엇인가요?

애플리케이션 생성 후 시스템이 Client Token을 자동으로 생성합니다. 이 토큰은 사용자 디바이스에서 데이터를 전송하는 데 사용됩니다.

자세한 내용은 Client Token 관리를 참조하세요.

정보가 올바른지 확인한 후 생성을 클릭하여 LLM 모니터링 애플리케이션 연동을 완료합니다.

문서 평가

이 페이지가 도움이 되었나요?