OpenLIT OTel GPU Collector

OpenLIT OTel GPU Collector 通过 OpenTelemetry OTLP 向 DataKit 上报 GPU 硬件、GPU 进程、主机以及 Linux/NVIDIA CUDA eBPF 指标。

配置¶

前置条件¶

• 已安装 DataKit，且 OpenLIT Collector 到 DataKit 的 OTLP 网络可达。
• 使用 NVIDIA GPU 容器时，主机需安装 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。AMD 需映射 /dev/kfd 与 /dev/dri，Intel 需映射 /dev/dri。
• 进程级 GPU 归因需容器使用主机 PID namespace。Linux/NVIDIA CUDA eBPF 指标还需要 BPF/PERFMON 能力与可锁定内存。没有这些权限时，设备级 hw.gpu.* 指标仍可工作，但进程和 eBPF 视图会不完整。

开启 DataKit OpenTelemetry 接收¶

cd /usr/local/datakit/conf.d
sudo cp samples/opentelemetry.conf.sample opentelemetry.conf
sudo vim opentelemetry.conf

[[inputs.opentelemetry]]
  customer_tags_all = true

  [inputs.opentelemetry.grpc]
    addr = "127.0.0.1:4317"
    max_payload = 16777216

Collector 与 DataKit 跨主机或不使用 host network 时，把 addr 改为 0.0.0.0:4317，Collector 端点改为 DataKit 实际私网 IP 或 DNS 的 4317 端口，并通过防火墙或安全组限制来源；不要将 4317 无保护暴露到公网。

重启 DataKit：

sudo datakit service -R

启动 OpenLIT OTel GPU Collector¶

以 NVIDIA GPU、Collector 与 DataKit 同机为例：

docker pull ghcr.io/openlit/otel-gpu-collector:latest

docker run -d \
  --name otel-gpu-collector \
  --restart unless-stopped \
  --network host \
  --gpus all \
  --pid=host \
  --cap-add BPF \
  --cap-add PERFMON \
  --ulimit memlock=-1:-1 \
  -e OTEL_SERVICE_NAME=openlit-otel-gpu-collector \
  -e OTEL_RESOURCE_ATTRIBUTES='deployment.environment=production,team=ml,host.name=gpu-host-01' \
  -e OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4317 \
  -e OTEL_EXPORTER_OTLP_PROTOCOL=grpc \
  -e OTEL_METRIC_EXPORT_INTERVAL=15000 \
  -e OTEL_GPU_EBPF_ENABLED=true \
  ghcr.io/openlit/otel-gpu-collector:latest

AMD 容器把 --gpus all 替换为 --device /dev/kfd:/dev/kfd --device /dev/dri:/dev/dri；Intel 使用 --device /dev/dri:/dev/dri。AMD/Intel 不使用 CUDA eBPF 路径，因此 CUDA 专属视图为空属于能力边界。

Kubernetes 部署¶

OpenLIT 官方支持以 DaemonSet 在每个 GPU 节点运行一个 Collector。本集成不复制可能随版本变化的完整 YAML，请直接参考 OpenLIT Kubernetes DaemonSet 官方配置，并把 OTEL_EXPORTER_OTLP_ENDPOINT 指向集群内可达的 DataKit 或 OpenTelemetry Collector 服务。

Kubernetes 部署需要重点保留 hostPID: true、GPU 设备访问、kubelet PodResources 挂载以及 eBPF 所需的 BPF 权限；若要从 Node 标签或 providerID 识别 host.type、云厂商和区域，还需按官方示例授予 ServiceAccount nodes/get 权限。EKS、GKE、AKS 或自建集群的身份配置差异请以官方文档为准。

验证¶

1. 在观测云「指标」中查询 otel_service，并确认 hw.gpu.up、hw.gpu.utilization、hw.gpu.memory.usage 等持续上报。
2. 若进程或 CUDA eBPF 图表无数据，依次核对 host PID、GPU 设备映射、BPF/PERFMON 能力、memlock、工作负载是否已加载 libcudart，以及主机安全策略是否阻止 eBPF uprobe。

指标¶

OpenLIT 指标通过 OTLP 写入 otel_service。下表覆盖 OpenLIT OTel GPU Collector 官方 Metrics Reference 中的 GPU 硬件、主机系统、Collector 进程、GPU 工作负载进程与 CUDA eBPF 指标。