OpenLIT OTel GPU Collector

OpenLIT OTel GPU Collector는 OpenTelemetry OTLP를 통해 DataKit으로 GPU 하드웨어, GPU 프로세스, 호스트 및 Linux/NVIDIA CUDA eBPF 메트릭을 전송합니다.

설정¶

사전 조건¶

• DataKit가 설치되어 있어야 하며, OpenLIT Collector에서 DataKit로의 OTLP 네트워크가 도달 가능해야 합니다.
• NVIDIA GPU 컨테이너를 사용할 때는 호스트에 NVIDIA 드라이버, Docker 및 NVIDIA Container Toolkit이 설치되어 있어야 합니다. AMD는 /dev/kfd와 /dev/dri를 매핑해야 하며, Intel은 /dev/dri를 매핑해야 합니다.
• 프로세스 수준 GPU 귀속을 위해서는 컨테이너가 호스트 PID namespace를 사용해야 합니다. Linux/NVIDIA CUDA eBPF 메트릭에는 BPF/PERFMON 권한과 잠금 가능한 메모리도 필요합니다. 이러한 권한이 없으면 장치 수준 hw.gpu.* 메트릭은 계속 동작하지만, 프로세스와 eBPF 뷰는 불완전합니다.

DataKit OpenTelemetry 수신 활성화¶

cd /usr/local/datakit/conf.d
sudo cp samples/opentelemetry.conf.sample opentelemetry.conf
sudo vim opentelemetry.conf

[[inputs.opentelemetry]]
  customer_tags_all = true

  [inputs.opentelemetry.grpc]
    addr = "127.0.0.1:4317"
    max_payload = 16777216

Collector와 DataKit가 서로 다른 호스트에 있거나 host network를 사용하지 않을 때는 addr를 0.0.0.0:4317로 변경하고, Collector 엔드포인트를 DataKit의 실제 사설 IP 또는 DNS의 4317 포트로 변경한 뒤, 방화벽이나 보안 그룹으로 출발지을 제한하십시오. 4317을 보호 없이 공용망에 노출하지 마십시오.

DataKit를 다시 시작합니다.

sudo datakit service -R

OpenLIT OTel GPU Collector 시작¶

NVIDIA GPU, Collector, DataKit가 같은 호스트에 있는 예시입니다:

docker pull ghcr.io/openlit/otel-gpu-collector:latest

docker run -d \
  --name otel-gpu-collector \
  --restart unless-stopped \
  --network host \
  --gpus all \
  --pid=host \
  --cap-add BPF \
  --cap-add PERFMON \
  --ulimit memlock=-1:-1 \
  -e OTEL_SERVICE_NAME=openlit-otel-gpu-collector \
  -e OTEL_RESOURCE_ATTRIBUTES='deployment.environment=production,team=ml,host.name=gpu-host-01' \
  -e OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4317 \
  -e OTEL_EXPORTER_OTLP_PROTOCOL=grpc \
  -e OTEL_METRIC_EXPORT_INTERVAL=15000 \
  -e OTEL_GPU_EBPF_ENABLED=true \
  ghcr.io/openlit/otel-gpu-collector:latest

AMD 컨테이너는 --gpus all을 --device /dev/kfd:/dev/kfd --device /dev/dri:/dev/dri로 바꾸고, Intel은 --device /dev/dri:/dev/dri를 사용합니다. AMD/Intel은 CUDA eBPF 경로를 사용하지 않으므로, CUDA 전용 뷰가 비어 있는 것은 기능 한계입니다.

Kubernetes 배포¶

OpenLIT 공식은 각 GPU 노드에서 하나의 Collector를 DaemonSet으로 실행하는 방식을 지원합니다. 이 통합은 버전에 따라 바뀔 수 있는 전체 YAML을 복제하지 않으므로, OpenLIT Kubernetes DaemonSet 공식 구성을 직접 참고하고 OTEL_EXPORTER_OTLP_ENDPOINT를 클러스터 내부에서 접근 가능한 DataKit 또는 OpenTelemetry Collector 서비스로 지정하십시오.

Kubernetes 배포에서는 hostPID: true, GPU 장치 접근, kubelet PodResources 마운트, 그리고 eBPF에 필요한 BPF 권한을 반드시 유지해야 합니다. Node 레이블이나 providerID로 host.type, 클라우드 공급자, 리전을 식별하려면 공식 예시처럼 ServiceAccount에 nodes/get 권한도 부여해야 합니다. EKS, GKE, AKS 또는 자체 구축 클러스터의 인증 설정 차이는 공식 문서를 따르십시오.

검증¶

1. Guance의 「지표」에서 otel_service를 조회하고, hw.gpu.up, hw.gpu.utilization, hw.gpu.memory.usage 등이 지속적으로 전송되는지 확인합니다.
2. 프로세스 또는 CUDA eBPF 차트에 데이터가 없으면, host PID, GPU 장치 매핑, BPF/PERFMON 권한, memlock, 작업 부하가 libcudart를 로드했는지 여부, 그리고 호스트 보안 정책이 eBPF uprobe를 차단하는지 순서대로 확인합니다.

메트릭¶

OpenLIT 메트릭은 OTLP를 통해 otel_service에 기록됩니다. 아래 표는 OpenLIT OTel GPU Collector 공식 Metrics Reference의 GPU 하드웨어, 호스트 시스템, Collector 프로세스, GPU 작업 부하 프로세스 및 CUDA eBPF 메트릭을 포함합니다.