コンテンツにスキップ

OpenLIT

OpenLIT は、生成 AI と大規模言語モデル（LLMs）の開発プロセスを簡素化し、包括的な可観測性を提供し、可観測性データをGuanceに送信します。

設定¶

OTEL を使用してトレースデータを DataKit に送信する前に、Collector が設定されていることを確認し、設定ファイルcustomer_tags = ["gen_ai.application_name","gen_ai.request.model","gen_ai.prompt","gen_ai.completion","gen_ai.request.temperature","gen_ai.usage.input_tokens","gen_ai.usage.output_tokens","gen_ai.usage.total_tokens","gen_ai.endpoint","gen_ai.system"]を次のように調整してください：

[[inputs.opentelemetry]]
  ## customer_tags は、タグがデータセンターへ送信されるのを防ぐためのホワイトリストとして機能します。
  ## すべての . は _ に置換されます。例:
    customer_tags = ["gen_ai.application_name","gen_ai.request.model","gen_ai.prompt","gen_ai.completion","gen_ai.request.temperature","gen_ai.usage.input_tokens","gen_ai.usage.output_tokens","gen_ai.usage.total_tokens","gen_ai.endpoint","gen_ai.system"]

  ...

調整が完了したら、DataKit を再起動してください

OpenLIT SDK のインストール¶

pip install openlit

アプリケーションで OpenLIT を初期化する¶

import openlit

openlit.init(otlp_endpoint="http://127.0.0.1:9529/otel")

OpenAI の使用を監視するサンプルコード:

from openai import OpenAI
import openlit

# OpenLIT を初期化
openlit.init(
    otlp_endpoint="http://127.0.0.1:9529/otel",
    application_name="openlit_demo"
)

client = OpenAI(
    api_key="YOUR_OPENAI_KEY"
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "LLM の可観測性とは何か",
        }
    ],
    model="gpt-3.5-turbo",
)

参考資料¶

OpenLIT quickstart