Kubernetes

如果是纯 Docker 或 Containerd 环境，那么 DataKit 只能安装在宿主机上。

进入 DataKit 安装目录下的 conf.d/container 目录，复制 container.conf.sample 并命名为 container.conf。示例如下：

[inputs.container]
  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
  ]

  enable_container_metric = true
  enable_k8s_metric       = true
  enable_pod_metric       = false
  enable_k8s_event        = true
  enable_k8s_node_local   = true
  enable_collect_k8s_job  = true

  ## Add resource Label as Tags (container use Pod Label), need to specify Label keys.
  ## e.g. ["app", "name"]
  # extract_k8s_label_as_tags_v2            = []
  # extract_k8s_label_as_tags_v2_for_metric = []

  ## Containers logs to include and exclude, default collect all containers. Globs accepted.
  container_include_log = []
  container_exclude_log = ["image:*logfwd*", "image:*datakit*"]

  ## Pods metric to include and exclude, default collect all pods. Globs accepted.
  pod_include_metric = []
  pod_exclude_metric = []

  logging_enable_multiline              = true
  logging_auto_multiline_detection      = true
  logging_auto_multiline_extra_patterns = []

  ## Only retain the fields specified in the whitelist.
  logging_field_white_list = []

  ## Removes ANSI escape codes from text strings.
  logging_remove_ansi_escape_codes = false

  ## Whether to collect logs from the begin of the file.
  logging_file_from_beginning = false

  ## The maximum allowed number of open files, default is 500. If it is -1, it means no limit.
  # logging_max_open_files = 500

  ## Search logging interval, default "60s".
  #logging_search_interval = ""

  ## Log collection configures additional source matching, and the regular source will be renamed.
  [inputs.container.logging_extra_source_map]
    # source_regexp = "new_source"

  ## Log collection with multiline configuration as specified by the source.
  [inputs.container.logging_source_multiline_map]
    # source = '''^\d{4}'''

  [inputs.container.tags]
    # some_tag = "some_value"
    # more_tag = "some_other_value"

可通过 ConfigMap 方式注入采集器配置 或 配置 ENV_DATAKIT_INPUTS 开启采集器。

也支持以环境变量的方式修改配置参数（需要在 ENV_DEFAULT_ENABLED_INPUTS 中加为默认采集器）：

• ENV_INPUT_CONTAINER_ENDPOINTS

  追加多个容器运行时的 endpoint

  字段类型: List

  采集器配置字段: endpoints

  示例: "unix:///var/run/docker.sock,unix:///var/run/containerd/containerd.sock,unix:///var/run/crio/crio.sock"

• ENV_INPUT_CONTAINER_ENABLE_CONTAINER_METRIC

  开启容器指标采集

  字段类型: Boolean

  采集器配置字段: enable_container_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_METRIC

  开启 k8s 指标采集

  字段类型: Boolean

  采集器配置字段: enable_k8s_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_POD_METRIC

  是否开启 Pod 指标采集（CPU 和内存使用情况）

  字段类型: Boolean

  采集器配置字段: enable_pod_metric

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_K8S_EVENT

  是否开启分时间采集模式

  字段类型: Boolean

  采集器配置字段: enable_k8s_event

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_NODE_LOCAL

  是否开启分 Node 采集模式，由部署在各个 Node 的 DataKit 独立采集当前 Node 的资源。 Version-1.19.0 需要额外的 RABC 权限，见此处

  字段类型: Boolean

  采集器配置字段: enable_k8s_node_local

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_COLLECT_KUBE_JOB

  开启对 Kubernetes Job 资源的采集（包括指标数据和对象数据）

  字段类型: Boolean

  采集器配置字段: enable_collect_kube_job

  默认值: true

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2

  追加资源的 labels 到数据（不包括指标数据）的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2

  示例: ["app","name"]

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2_FOR_METRIC

  追加资源的 labels 到指标数据的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2_for_metric

  示例: ["app","name"]

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_ANNOTATIONS

  是否开启自动发现 Prometheus Pod Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_ANNOTATIONS

  是否开启自动发现 Prometheus 服务 Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_MONITORS

  是否开启自动发现 Prometheus Pod Monitor CRD 并采集指标，详见 Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_monitors

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_MONITORS

  是否开启自动发现 Prometheus ServiceMonitor CRD 并采集指标，详见 Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_monitors

  默认值: false

• ENV_INPUT_CONTAINER_CONTAINER_MAX_CONCURRENT

  采集容器数据时的最大并发数，推荐只在采集延迟较大时开启

  字段类型: Int

  采集器配置字段: container_max_concurrent

  默认值: cpu cores + 1

• ENV_INPUT_CONTAINER_CONTAINER_INCLUDE_LOG

  容器日志白名单，使用 image/namespace 过滤

  字段类型: List

  采集器配置字段: container_include_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_CONTAINER_EXCLUDE_LOG

  容器日志黑名单，使用 image/namespace 过滤

  字段类型: List

  采集器配置字段: container_exclude_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC

  Pod 指标白名单，使用 namespace 过滤

  字段类型: List

  采集器配置字段: pod_include_metric

  示例: "namespace:datakit*"

• ENV_INPUT_CONTAINER_POD_EXCLUDE_METRIC

  Pod 指标黑名单，使用 namespace 过滤

  字段类型: List

  采集器配置字段: pod_exclude_metric

  示例: "namespace:kube-system"

• ENV_INPUT_CONTAINER_LOGGING_SEARCH_INTERVAL

  日志发现的时间间隔，即每隔多久检索一次日志，如果间隔太长，会导致忽略了一些存活较短的日志

  字段类型: Duration

  采集器配置字段: logging_search_interval

  默认值: 60s

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP

  日志采集配置额外的 source 匹配，符合正则的 source 会被改名

  字段类型: Map

  采集器配置字段: logging_extra_source_map

  示例: source_regex*=new_source,regex*=new_source2

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON

  日志采集根据 source 指定多行配置

  字段类型: JSON

  采集器配置字段: logging_source_multiline_map

  示例: {"source_nginx":"^\d{4}", "source_redis":"^[A-Za-z_]"}

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_DETECTION

  日志采集是否开启自动多行模式，开启后会在 patterns 列表中匹配适用的多行规则

  字段类型: Boolean

  采集器配置字段: logging_auto_multiline_detection

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_EXTRA_PATTERNS_JSON

  日志采集的自动多行模式 pattens 列表，支持手动配置多个多行规则

  字段类型: JSON

  采集器配置字段: logging_auto_multiline_extra_patterns

  示例: ["^\d{4}-\d{2}", "^[A-Za-z_]"]

  默认值: For more default rules, see doc

• ENV_INPUT_CONTAINER_LOGGING_REMOVE_ANSI_ESCAPE_CODES

  日志采集删除包含的颜色字符，详见日志特殊字符处理说明

  字段类型: Boolean

  采集器配置字段: logging_remove_ansi_escape_codes

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING_THRESHOLD_SIZE

  根据文件 size 决定是否 from_beginning，如果发现该文件时，文件 size 小于这个值，就使用 from_beginning 从头部开始采集

  字段类型: Int

  采集器配置字段: logging_file_from_beginning_threshold_size

  默认值: 20,000,000

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING

  是否从文件首部采集日志

  字段类型: Boolean

  采集器配置字段: logging_file_from_beginning

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_MAX_OPEN_FILES

  日志采集最大打开文件个数，如果是 -1 则没有限制

  字段类型: Int

  采集器配置字段: logging_max_open_files

  默认值: 500

• ENV_INPUT_CONTAINER_LOGGING_FIELD_WHITE_LIST

  指定保留白名单中的字段

  字段类型: List

  采集器配置字段: logging_field_white_list

  示例: '["service","container_id"]'

• ENV_INPUT_CONTAINER_TAGS

  自定义标签。如果配置文件有同名标签，将会覆盖它

  字段类型: Map

  采集器配置字段: tags

  示例: tag1=value1,tag2=value2

环境变量额外说明：

• ENV_INPUT_CONTAINER_TAGS：如果配置文件（container.conf）中有同名 tag，将会被这里的配置覆盖掉。

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP：指定替换 source，参数格式是「正则表达式=new_source」，当某个 source 能够匹配正则表达式，则这个 source 会被 new_source 替换。如果能够替换成功，则不再使用 annotations/labels 中配置的 source（ Version-1.4.7）。如果要做到精确匹配，需要使用 ^ 和 $ 将内容括起来。比如正则表达式写成 datakit，不仅可以匹配 datakit 字样，还能匹配到 datakit123；写成 ^datakit$ 则只能匹配到的 datakit。

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON：用来指定 source 到多行配置的映射，如果某个日志没有配置 multiline_match，就会根据它的 source 来此处查找和使用对应的 multiline_match。因为 multiline_match 值是正则表达式较为复杂，所以 value 格式是 JSON 字符串，可以使用 json.cn 辅助编写并压缩成一行。

修改 container.conf 的 endpoints 配置项，将其设置为对应的 sock 路径。

更改 datakit.yaml 的 volumes containerd-socket，将新路径 mount 到 DataKit 中，同时配置环境变量 ENV_INPUT_CONTAINER_ENDPOINTS：

# 添加 env
- env:
  - name: ENV_INPUT_CONTAINER_ENDPOINTS
    value: ["unix:///path/to/new/containerd/containerd.sock"]

# 修改 mountPath
  - mountPath: /path/to/new/containerd/containerd.sock
    name: containerd-socket
    readOnly: true

# 修改 volumes
volumes:
- hostPath:
    path: /path/to/new/containerd/containerd.sock
  name: containerd-socket

  ## 当 Pod 的 namespace 能够匹配 `datakit` 时，采集该 Pod 的指标
  pod_include_metric = ["namespace:datakit"]

  ## 忽略所有 namespace 是 `kodo` 的 Pod
  pod_exclude_metric = ["namespace:kodo"]

• include 和 exclude 配置项必须以字段名开头，格式为类似于 glob 通配符 的表达式："<字段名>:<glob 规则>"。
• 目前，namespace 字段是唯一支持的过滤字段。例如：namespace:datakit-ns。

如果同时设置了 include 和 exclude 配置，Pod 必须满足以下条件：

• 必须满足 include 的规则
• 且不满足 exclude 的规则

例如，以下配置会导致所有 Pod 都被过滤掉：

  ## 只采集 `namespace:datakit` 的 Pod，排除所有命名空间
  pod_include_metric = ["namespace:datakit"]
  pod_exclude_metric = ["namespace:*"]

对于 Kubernetes 环境，可以通过以下环境变量来进行配置：

• ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC
• ENV_INPUT_CONTAINER_POD_EXCLUDE_METRIC

例如，如果希望只采集 namespace 为 kube-system 的 Pod 指标，可以设置 ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC 环境变量，如下所示：

  - env:
      - name: ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC
        value: namespace:kube-system  # 指定需要采集的命名空间

通过这种方式，可以灵活地控制 DataKit 采集的 Pod 指标范围，避免采集不需要的数据，从而优化系统性能和资源利用率。