콘텐츠로 이동

OpenLIT

OpenLIT은 생성형 AI와 대규모 언어 모델(LLM)의 개발 과정을 단순화하고, 포괄적인 가시성 지원을 제공하며, 관측성 데이터를 Guance로 전송합니다.

설정¶

OTEL을 사용해 트레이싱 데이터를 DataKit으로 보내기 전에 Collector가 설정되어 있는지 확인하고, 다음과 같이 설정 파일의customer_tags = ["gen_ai.application_name","gen_ai.request.model","gen_ai.prompt","gen_ai.completion","gen_ai.request.temperature","gen_ai.usage.input_tokens","gen_ai.usage.output_tokens","gen_ai.usage.total_tokens","gen_ai.endpoint","gen_ai.system"] 항목을 조정해야 합니다.

[[inputs.opentelemetry]]
  ## customer_tags는 태그가 데이터 센터로 전송되는 것을 막기 위한 화이트리스트로 동작합니다.
  ## 모든 . 는 _ 로 바뀝니다. 예:
    customer_tags = ["gen_ai.application_name","gen_ai.request.model","gen_ai.prompt","gen_ai.completion","gen_ai.request.temperature","gen_ai.usage.input_tokens","gen_ai.usage.output_tokens","gen_ai.usage.total_tokens","gen_ai.endpoint","gen_ai.system"]

  ...

조정이 끝나면 DataKit을 재시작하세요

OpenLIT SDK 설치¶

pip install openlit

애플리케이션에서 OpenLIT 초기화¶

import openlit

openlit.init(otlp_endpoint="http://127.0.0.1:9529/otel")

OpenAI 사용 모니터링 예시 코드:

from openai import OpenAI
import openlit

# OpenLIT 초기화
openlit.init(
    otlp_endpoint="http://127.0.0.1:9529/otel",
    application_name="openlit_demo"
)

client = OpenAI(
    api_key="YOUR_OPENAI_KEY"
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "LLM 가시성이란 무엇인가",
        }
    ],
    model="gpt-3.5-turbo",
)

참고 자료¶

OpenLIT quickstart