Kubernetes

如果是纯 Docker 或 Containerd 环境，那么 DataKit 只能安装在宿主机上。

进入 DataKit 安装目录下的 conf.d/container 目录，复制 container.conf.sample 并命名为 container.conf。示例如下：

[inputs.container]
  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
  ]

  enable_container_metric = true
  enable_k8s_metric       = true
  enable_pod_metric       = false
  enable_k8s_event        = true
  enable_k8s_node_local   = true

  ## Add resource Label as Tags (container use Pod Label), need to specify Label keys.
  ## e.g. ["app", "name"]
  # extract_k8s_label_as_tags_v2            = []
  # extract_k8s_label_as_tags_v2_for_metric = []

  ## Containers logs to include and exclude, default collect all containers. Globs accepted.
  container_include_log = []
  container_exclude_log = ["image:*logfwd*", "image:*datakit*"]

  kubernetes_url = "https://kubernetes.default:443"

  ## Authorization level:
  ##   bearer_token -> bearer_token_string -> TLS
  ## Use bearer token for authorization. ('bearer_token' takes priority)
  ## linux at:   /run/secrets/kubernetes.io/serviceaccount/token
  bearer_token = "/run/secrets/kubernetes.io/serviceaccount/token"
  # bearer_token_string = "<your-token-string>"

  ## Set true to enable election for k8s metric collection
  election = true

  logging_enable_multiline             = true
  logging_auto_multiline_detection     = true
  logging_auto_multiline_extra_patterns = []

  ## Only retain the fields specified in the whitelist.
  logging_field_white_list = []

  ## Removes ANSI escape codes from text strings.
  logging_remove_ansi_escape_codes = false

  ## Whether to collect logs from the begin of the file.
  logging_file_from_beginning = false

  ## The maximum allowed number of open files, default is 500. If it is -1, it means no limit.
  # logging_max_open_files = 500

  ## Search logging interval, default "60s"
  #logging_search_interval = ""

  [inputs.container.logging_extra_source_map]
    # source_regexp = "new_source"

  [inputs.container.logging_source_multiline_map]
    # source = '''^\d{4}'''

  [inputs.container.tags]
    # some_tag = "some_value"
    # more_tag = "some_other_value"

可通过 ConfigMap 方式注入采集器配置 或 配置 ENV_DATAKIT_INPUTS 开启采集器。

也支持以环境变量的方式修改配置参数（需要在 ENV_DEFAULT_ENABLED_INPUTS 中加为默认采集器）：

• ENV_INPUT_CONTAINER_ENDPOINTS

  追加多个容器运行时的 endpoint

  字段类型: List

  采集器配置字段: endpoints

  示例: "unix:///var/run/docker.sock,unix:///var/run/containerd/containerd.sock,unix:///var/run/crio/crio.sock"

• ENV_INPUT_CONTAINER_DOCKER_ENDPOINT

  已废弃，指定 Docker Engine 的 endpoint

  字段类型: String

  采集器配置字段: docker_endpoint

  示例: unix:///var/run/docker.sock

• ENV_INPUT_CONTAINER_CONTAINERD_ADDRESS

  已废弃，指定 Containerd 的 endpoint

  字段类型: String

  采集器配置字段: containerd_address

  示例: /var/run/containerd/containerd.sock

• ENV_INPUT_CONTAINER_ENABLE_CONTAINER_METRIC

  开启容器指标采集

  字段类型: Boolean

  采集器配置字段: enable_container_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_METRIC

  开启 k8s 指标采集

  字段类型: Boolean

  采集器配置字段: enable_k8s_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_POD_METRIC

  是否开启 Pod 指标采集（CPU 和内存使用情况）

  字段类型: Boolean

  采集器配置字段: enable_pod_metric

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_K8S_EVENT

  是否开启分时间采集模式

  字段类型: Boolean

  采集器配置字段: enable_k8s_event

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_NODE_LOCAL

  是否开启分 Node 采集模式，由部署在各个 Node 的 Datakit 独立采集当前 Node 的资源。 Version-1.19.0 需要额外的 RABC 权限，见此处

  字段类型: Boolean

  采集器配置字段: enable_k8s_node_local

  默认值: true

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS

  是否追加资源的 labels 到采集的 tag 中。只有 Pod 指标、对象和 Node 对象会添加，另外容器日志也会添加其所属 Pod 的 labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: Boolean

  采集器配置字段: extract_k8s_label_as_tags

  默认值: false

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2

  追加资源的 labels 到数据（不包括指标数据）的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2

  示例: ["app","name"]

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2_FOR_METRIC

  追加资源的 labels 到指标数据的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2_for_metric

  示例: ["app","name"]

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_ANNOTATIONS

  是否开启自动发现 Prometheus Pod Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_ANNOTATIONS

  是否开启自动发现 Prometheus 服务 Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_MONITORS

  是否开启自动发现 Prometheus Pod Monitor CRD 并采集指标，详见Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_monitors

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_MONITORS

  是否开启自动发现 Prometheus ServiceMonitor CRD 并采集指标，详见Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_monitors

  默认值: false

• ENV_INPUT_CONTAINER_KEEP_EXIST_PROMETHEUS_METRIC_NAME

  是否保留原始的 Prometheus 字段名，详见 [Kubernetes Prometheus doc](kubernetes-prom.md#measurement-and-tags

  字段类型: Boolean

  采集器配置字段: keep_exist_prometheus_metric_name

  默认值: false

• ENV_INPUT_CONTAINER_CONTAINER_INCLUDE_LOG

  容器日志白名单，使用 image 过滤

  字段类型: List

  采集器配置字段: container_include_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_CONTAINER_EXCLUDE_LOG

  容器日志黑名单，使用 image 过滤

  字段类型: List

  采集器配置字段: container_exclude_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_KUBERNETES_URL

  k8s API 服务访问地址

  字段类型: String

  采集器配置字段: kubernetes_url

  示例: https://kubernetes.default:443

• ENV_INPUT_CONTAINER_BEARER_TOKEN

  访问 k8s 服务所需的 token 文件路径

  字段类型: String

  采集器配置字段: bearer_token

  示例: /run/secrets/kubernetes.io/serviceaccount/token

• ENV_INPUT_CONTAINER_BEARER_TOKEN_STRING

  访问 k8s 服务所需的 token 字符串

  字段类型: String

  采集器配置字段: bearer_token_string

  示例: your-token-string

• ENV_INPUT_CONTAINER_LOGGING_SEARCH_INTERVAL

  日志发现的时间间隔，即每隔多久检索一次日志，如果间隔太长，会导致忽略了一些存活较短的日志

  字段类型: Duration

  采集器配置字段: logging_search_interval

  默认值: 60s

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP

  日志采集配置额外的 source 匹配，符合正则的 source 会被改名

  字段类型: Map

  采集器配置字段: logging_extra_source_map

  示例: source_regex=new_source,regex=new_source2

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON

  日志采集配置额外的 source 匹配，符合正则的 source 会被改名

  字段类型: JSON

  采集器配置字段: logging_source_multiline_map

  示例: {"source_nginx":"^\d{4}", "source_redis":"^[A-Za-z_]"}

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_DETECTION

  日志采集是否开启自动多行模式，开启后会在 patterns 列表中匹配适用的多行规则

  字段类型: Boolean

  采集器配置字段: logging_auto_multiline_detection

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_EXTRA_PATTERNS_JSON

  日志采集的自动多行模式 pattens 列表，支持手动配置多个多行规则

  字段类型: JSON

  采集器配置字段: logging_auto_multiline_extra_patterns

  示例: ["^\d{4}-\d{2}", "^[A-Za-z_]"]

  默认值: For more default rules, see doc

• ENV_INPUT_CONTAINER_LOGGING_MAX_MULTILINE_LIFE_DURATION

  日志采集的单次多行最大生命周期，此周期结束将清空和上传现存的多行数据，避免堆积

  字段类型: Duration

  采集器配置字段: logging_max_multiline_life_duration

  默认值: 3s

• ENV_INPUT_CONTAINER_LOGGING_REMOVE_ANSI_ESCAPE_CODES

  日志采集删除包含的颜色字符，详见日志特殊字符处理说明

  字段类型: Boolean

  采集器配置字段: logging_remove_ansi_escape_codes

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING_THRESHOLD_SIZE

  根据文件 size 决定是否 from_beginning，如果发现该文件时，文件 size 小于这个值，就使用 from_beginning 从头部开始采集

  字段类型: Int

  采集器配置字段: logging_file_from_beginning_threshold_size

  默认值: 20,000,000

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING

  是否从文件首部采集日志

  字段类型: Boolean

  采集器配置字段: logging_file_from_beginning

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_MAX_OPEN_FILES

  日志采集最大打开文件个数，如果是 -1 则没有限制

  字段类型: Int

  采集器配置字段: logging_max_open_files

  默认值: 500

• ENV_INPUT_CONTAINER_LOGGING_FIELD_WHITE_LIST

  指定保留白名单中的字段

  字段类型: List

  采集器配置字段: logging_field_white_list

  示例: '["service","container_id"]'

• ENV_INPUT_CONTAINER_CONTAINER_MAX_CONCURRENT

  采集容器数据时的最大并发数，推荐只在采集延迟较大时开启

  字段类型: Int

  采集器配置字段: container_max_concurrent

  默认值: cpu cores + 1

• ENV_INPUT_CONTAINER_DISABLE_COLLECT_KUBE_JOB

  关闭对 Kubernetes Job 资源的采集（包括指标数据和对象数据）

  字段类型: Boolean

  采集器配置字段: disable_collect_kube_job

  默认值: false

• ENV_INPUT_CONTAINER_DISABLE_COLLECT_KUBE_JOB

  关闭对 Kubernetes Job 资源的采集（包括指标数据和对象数据）

  字段类型: Boolean

  采集器配置字段: disable_collect_kube_job

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_K8S_SELF_METRIC_BY_PROM

  开启对 Kubernetes Prometheus 数据的采集，包括 APIServer、Scheduler、Etcd 等（试验中）

  字段类型: Boolean

  采集器配置字段: enable_k8s_self_metric_by_prom

  默认值: false

• ENV_INPUT_CONTAINER_TAGS

  自定义标签。如果配置文件有同名标签，将会覆盖它

  字段类型: Map

  采集器配置字段: tags

  示例: tag1=value1,tag2=value2

环境变量额外说明：

• ENV_INPUT_CONTAINER_TAGS：如果配置文件（container.conf）中有同名 tag，将会被这里的配置覆盖掉。

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP：指定替换 source，参数格式是「正则表达式=new_source」，当某个 source 能够匹配正则表达式，则这个 source 会被 new_source 替换。如果能够替换成功，则不再使用 annotations/labels 中配置的 source（ Version-1.4.7）。如果要做到精确匹配，需要使用 ^ 和 $ 将内容括起来。比如正则表达式写成 datakit，不仅可以匹配 datakit 字样，还能匹配到 datakit123；写成 ^datakit$ 则只能匹配到的 datakit。

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON：用来指定 source 到多行配置的映射，如果某个日志没有配置 multiline_match，就会根据它的 source 来此处查找和使用对应的 multiline_match。因为 multiline_match 值是正则表达式较为复杂，所以 value 格式是 JSON 字符串，可以使用 json.cn 辅助编写并压缩成一行。

修改 container.conf 的 endpoints 配置项，将其设置为对应的 sock 路径。

更改 datakit.yaml 的 volumes containerd-socket，将新路径 mount 到 Datakit 中，同时配置环境变量 ENV_INPUT_CONTAINER_ENDPOINTS：

# 添加 env
- env:
  - name: ENV_INPUT_CONTAINER_ENDPOINTS
    value: ["unix:///path/to/new/containerd/containerd.sock"]

# 修改 mountPath
  - mountPath: /path/to/new/containerd/containerd.sock
    name: containerd-socket
    readOnly: true

# 修改 volumes
volumes:
- hostPath:
    path: /path/to/new/containerd/containerd.sock
  name: containerd-socket