OpenLIT OTel GPU Collector

OpenLIT OTel GPU Collector は、OpenTelemetry OTLP を介して GPU ハードウェア、GPU プロセス、ホスト、および Linux/NVIDIA CUDA eBPF メトリクスを DataKit に送信します。

設定¶

前提条件¶

• DataKit がインストール済みで、OpenLIT Collector から DataKit への OTLP ネットワーク到達性があること。
• NVIDIA GPU コンテナを使用する場合、ホストには NVIDIA ドライバ、Docker、NVIDIA Container Toolkit が必要です。AMD では /dev/kfd と /dev/dri をマウントし、Intel では /dev/dri をマウントします。
• プロセス単位の GPU 帰属には、コンテナがホスト PID namespace を使用している必要があります。Linux/NVIDIA CUDA eBPF メトリクスには、BPF/PERFMON 権限とロック可能メモリも必要です。これらの権限がない場合でも、デバイス単位の hw.gpu.* メトリクスは動作しますが、プロセスおよび eBPF ビューは不完全になります。

DataKit OpenTelemetry 受信を有効化¶

cd /usr/local/datakit/conf.d
sudo cp samples/opentelemetry.conf.sample opentelemetry.conf
sudo vim opentelemetry.conf

[[inputs.opentelemetry]]
  customer_tags_all = true

  [inputs.opentelemetry.grpc]
    addr = "127.0.0.1:4317"
    max_payload = 16777216

Collector と DataKit が別ホストにある場合、または host network を使わない場合は、addr を 0.0.0.0:4317 に変更し、Collector 側のエンドポイントを DataKit の実際のプライベート IP または DNS の 4317 ポートに向け、ファイアウォールやセキュリティグループで送信元を制限してください。4317 を保護なしで公開しないでください。

DataKit を再起動します。

sudo datakit service -R

OpenLIT OTel GPU Collector の起動¶

NVIDIA GPU、Collector、DataKit が同一ホスト上にある例です。

docker pull ghcr.io/openlit/otel-gpu-collector:latest

docker run -d \
  --name otel-gpu-collector \
  --restart unless-stopped \
  --network host \
  --gpus all \
  --pid=host \
  --cap-add BPF \
  --cap-add PERFMON \
  --ulimit memlock=-1:-1 \
  -e OTEL_SERVICE_NAME=openlit-otel-gpu-collector \
  -e OTEL_RESOURCE_ATTRIBUTES='deployment.environment=production,team=ml,host.name=gpu-host-01' \
  -e OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4317 \
  -e OTEL_EXPORTER_OTLP_PROTOCOL=grpc \
  -e OTEL_METRIC_EXPORT_INTERVAL=15000 \
  -e OTEL_GPU_EBPF_ENABLED=true \
  ghcr.io/openlit/otel-gpu-collector:latest

AMD コンテナでは --gpus all を --device /dev/kfd:/dev/kfd --device /dev/dri:/dev/dri に置き換えます。Intel では --device /dev/dri:/dev/dri を使用します。AMD/Intel は CUDA eBPF パスを使用しないため、CUDA 専用ビューが空なのは機能範囲内です。

Kubernetes デプロイ¶

OpenLIT 公式は、各 GPU ノードで 1 つの Collector を DaemonSet として実行する構成をサポートしています。この統合では、バージョンによって変わる可能性のある完全な YAML は重複掲載しません。直接 OpenLIT Kubernetes DaemonSet 公式設定 を参照し、OTEL_EXPORTER_OTLP_ENDPOINT をクラスタ内から到達可能な DataKit または OpenTelemetry Collector サービスに向けてください。

Kubernetes デプロイでは、hostPID: true、GPU デバイスアクセス、kubelet PodResources のマウント、および eBPF に必要な BPF 権限を確実に保持してください。Node ラベルや providerID から host.type、クラウドベンダー、リージョンを識別したい場合は、公式例に従って ServiceAccount に nodes/get 権限も付与してください。EKS、GKE、AKS、またはセルフホストクラスタでの認証設定の違いは、公式ドキュメントを基準にしてください。

確認¶

1. Guance の「メトリクス」で otel_service を検索し、hw.gpu.up、hw.gpu.utilization、hw.gpu.memory.usage などが継続して送信されていることを確認します。
2. プロセスまたは CUDA eBPF のグラフにデータがない場合は、host PID、GPU デバイスマッピング、BPF/PERFMON 権限、memlock、ワークロードが libcudart を読み込んでいるか、ホストのセキュリティポリシーが eBPF uprobe を妨げていないかを順に確認します。

メトリクス¶

OpenLIT のメトリクスは OTLP を通じて otel_service に書き込まれます。以下の表は、OpenLIT OTel GPU Collector 公式 Metrics Reference にある GPU ハードウェア、ホストシステム、Collector プロセス、GPU ワークロードプロセス、および CUDA eBPF メトリクスを網羅しています。