容器基础采集¶

采集 Container 和 Kubernetes 的指标、对象和日志数据，上报到观测云。

采集器配置¶

前置条件¶

• 目前 container 支持 Docker、Containerd、CRI-O 容器运行时
  • 版本要求：Docker v17.04 及以上版本，Containerd v1.5.1 及以上，CRI-O 1.20.1 及以上
• 采集 Kubernetes 数据需要 DataKit 以 DaemonSet 方式部署。
• 采集 Kubernetes Pod 指标数据，需要 Kubernetes 安装 Metrics-Server 组件。

[inputs.container]
  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
  ]

  enable_container_metric = true
  enable_k8s_metric = true
  enable_pod_metric = false
  enable_k8s_event = true
  enable_k8s_node_local = true
  extract_k8s_label_as_tags = false

  ## Auto-Discovery of PrometheusMonitoring Annotations/CRDs
  enable_auto_discovery_of_prometheus_pod_annotations = false
  enable_auto_discovery_of_prometheus_service_annotations = false
  enable_auto_discovery_of_prometheus_pod_monitors = false
  enable_auto_discovery_of_prometheus_service_monitors = false

  ## Containers logs to include and exclude, default collect all containers. Globs accepted.
  container_include_log = []
  container_exclude_log = ["image:*logfwd*", "image:*datakit*"]

  kubernetes_url = "https://kubernetes.default:443"

  ## Authorization level:
  ##   bearer_token -> bearer_token_string -> TLS
  ## Use bearer token for authorization. ('bearer_token' takes priority)
  ## linux at:   /run/secrets/kubernetes.io/serviceaccount/token
  bearer_token = "/run/secrets/kubernetes.io/serviceaccount/token"
  # bearer_token_string = "<your-token-string>"

  ## Set true to enable election for k8s metric collection
  election = true

  logging_auto_multiline_detection = true
  logging_auto_multiline_extra_patterns = []

  ## Removes ANSI escape codes from text strings.
  logging_remove_ansi_escape_codes = false

  ## Search logging interval, default "60s"
  #logging_search_interval = ""

  [inputs.container.logging_extra_source_map]
    # source_regexp = "new_source"

  [inputs.container.logging_source_multiline_map]
    # source = '''^\d{4}'''

  [inputs.container.tags]
    # some_tag = "some_value"
    # more_tag = "some_other_value"

Docker 和 Containerd sock 文件配置¶

如果 Docker 或 Containerd 的 sock 路径不是默认的，则需要指定一下 sock 文件路径，根据 DataKit 不同部署方式，其方式有所差别，以 Containerd 为例：

# 添加 env
- env:
  - name: ENV_INPUT_CONTAINER_ENDPOINTS
    value: ["unix:///path/to/new/containerd/containerd.sock"]

# 修改 mountPath
  - mountPath: /path/to/new/containerd/containerd.sock
    name: containerd-socket
    readOnly: true

# 修改 volumes
volumes:
- hostPath:
    path: /path/to/new/containerd/containerd.sock
  name: containerd-socket

环境变量 ENV_INPUT_CONTAINER_ENDPOINTS 是追加到现有的 endpoints 配置，最终实际 endpoints 配置可能有很多项，采集器会去重然后逐一连接、采集。

默认的 endpoints 配置是：

  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
  ] 

使用环境变量 ENV_INPUT_CONTAINER_ENDPOINTS 为 ["unix:///path/to/new//run/containerd.sock"]，最终 endpoints 配置如下：

  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
    "unix:///path/to/new//run/containerd.sock",
  ] 

采集器会连接和采集这些容器运行时，如果 sock 文件不存在，会在第一次连接失败时输出报错日志，不影响后续采集。

Prometheus Exporter 指标采集¶

如果 Pod/容器有暴露 Prometheus 指标，有两种方式可以采集，参见这里

日志采集¶

日志采集的相关配置详见此处。

指标¶

以下所有数据采集，默认会追加名为 host 的全局 tag（tag 值为 DataKit 所在主机名），也可以在配置中通过 [inputs.container.tags] 指定其它标签：

 [inputs.container.tags]
  # some_tag = "some_value"
  # more_tag = "some_other_value"
  # ...

docker_containers¶

The metric of containers, only supported Running status.

• 标签

• 指标列表

kubernetes¶

The count of the Kubernetes resource.

• 标签

• 指标列表

kube_cronjob¶

The metric of the Kubernetes CronJob.

• 标签

• 指标列表

kube_daemonset¶

The metric of the Kubernetes DaemonSet.

• 标签

• 指标列表

kube_deployment¶

The metric of the Kubernetes Deployment.

• 标签

• 指标列表

kube_endpoint¶

The metric of the Kubernetes Endpoints.

• 标签

• 指标列表

kube_job¶

The metric of the Kubernetes Job.

• 标签

• 指标列表

kube_node¶

The metric of the Kubernetes Node.

• 标签

• 指标列表

kube_pod¶

The metric of the Kubernetes Pod.

• 标签

• 指标列表

kube_replicaset¶

The metric of the Kubernetes ReplicaSet.

• 标签

• 指标列表

kube_service¶

The metric of the Kubernetes Service.

• 标签

• 指标列表

kube_statefulset¶

The metric of the Kubernetes StatefulSet.

• 标签

• 指标列表

对象¶

docker_containers¶

The object of containers, only supported Running status.

• 标签

• 指标列表

kubernetes_cron_jobs¶

The object of the Kubernetes CronJob.

• 标签

• 指标列表

kubernetes_daemonset¶

The object of the Kubernetes DaemonSet.

• 标签

• 指标列表

kubernetes_deployments¶

The object of the Kubernetes Deployment.

• 标签

• 指标列表

kubernetes_jobs¶

The object of the Kubernetes Job.

• 标签

• 指标列表

kubernetes_nodes¶

The object of the Kubernetes Node.

• 标签

• 指标列表

kubelet_pod¶

The object of the Kubernetes Pod.

• 标签

• 指标列表

kubernetes_replica_sets¶

The object of the Kubernetes ReplicaSet.

• 标签

• 指标列表

kubernetes_services¶

The object of the Kubernetes Service.

• 标签

• 指标列表

kubernetes_statefulsets¶

The object of the Kubernetes StatefulSet.

• 标签

• 指标列表

日志¶

Use Logging Source¶

The logging of the container.

• 标签

• 字段列表

kubernetes_events¶

The logging of the Kubernetes Event.

• 标签

• 字段列表

联动 Dataway Sink 功能¶

Dataway Sink 详见文档。

所有的 Kubernetes 资源采集，都会添加与 CustomerKey 匹配的 Label。例如 CustomerKey 是 name，DaemonSet、Deployment、Pod 等资源，会在自己当前的 Labels 中找到 name，并将其添加到 tags。

容器会添加其所属 Pod 的 Customer Labels。

FAQ¶

NODE_LOCAL 需要新的权限¶

ENV_INPUT_CONTAINER_ENABLE_K8S_NODE_LOCAL 模式只推荐 DaemonSet 部署时使用，该模式需要访问 kubelet，所以需要在 RBAC 添加 nodes/stats 权限。例如：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: datakit
rules:
- apiGroups: [""]
  resources: ["nodes", "nodes/stats"]
  verbs: ["get", "list", "watch"]

此外，Datakit Pod 还需要开启 hostNetwork: true 配置项。

Kubernetes YAML 敏感字段屏蔽¶

Datakit 会采集 Kubernetes Pod 或 Service 等资源的 yaml 配置，并存储到对象数据的 yaml 字段中。如果该 yaml 中包含敏感数据（例如密码），Datakit 暂不支持手动配置屏蔽敏感字段，推荐使用 Kubernetes 官方的做法，即使用 ConfigMap 或者 Secret 来隐藏敏感字段。

例如，现在需要在 env 中添加一份密码，正常情况下是这样：

    containers:
    - name: mycontainer
      image: redis
      env:
        - name: SECRET_PASSWORD
      value: password123

在编排 yaml 配置会将密码明文存储，这是很不安全的。可以使用 Kubernetes Secret 实现隐藏，方法如下：

创建一个 Secret：

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:
  username: username123
  password: password123

执行：

kubectl apply -f mysecret.yaml

在 env 中使用 Secret：

    containers:
    - name: mycontainer
      image: redis
      env:
        - name: SECRET_PASSWORD
      valueFrom:
          secretKeyRef:
            name: mysecret
            key: password
            optional: false

详见官方文档。

延伸阅读¶

• eBPF 采集器：支持容器环境下的流量采集
• 正确使用正则表达式来配置
• Kubernetes 下 DataKit 的几种配置方式