Kubernetes

如果是纯 Docker 或 Containerd 环境，那么 DataKit 只能安装在宿主机上。

进入 DataKit 安装目录下的 conf.d/samples 目录，复制 container.conf.sample 并命名为 container.conf。示例如下：

# Container input plugin configuration
[inputs.container]

  # Container runtime endpoints to connect to
  endpoints = [
    "unix:///var/run/docker.sock",
    "unix:///var/run/containerd/containerd.sock",
    "unix:///var/run/crio/crio.sock",
  ]

  # Collection intervals (uncomment to customize)
  # metric_collect_interval = "60s"    # Default: 60s
  # object_collect_interval = "5m"     # Default: 5m
  # logging_search_interval = "60s"    # Default: 60s

  # GKE Autopilot Cloud API mode. Authentication uses Workload Identity through
  # the GKE metadata server; project, cluster, and location are auto-discovered.
  # gcp_cloud_api_enabled        = false
  # Optional overrides for cross-project or non-standard collection:
  # gcp_project_id               = "my-project"
  # gcp_cluster_name             = "my-autopilot-cluster"
  # gcp_cluster_location         = "us-central1"
  # Advanced feature overrides (both enabled by default):
  # enable_gcp_cloud_monitoring  = true
  # enable_gcp_cloud_logging     = true
  # gcp_cloud_logging_lookback   = "2m"
  # gcp_cloud_logging_overlap    = "2m"

  # Feature toggles
  enable_container_metric = true  # Collect container metrics
  enable_k8s_metric       = true  # Collect Kubernetes metrics
  enable_pod_metric       = false # Collect pod-specific metrics
  enable_k8s_event        = true  # Collect Kubernetes events
  enable_k8s_node_local   = true  # Enable node-local collection
  enable_collect_k8s_job  = true  # Collect Kubernetes jobs

  # Kubernetes label extraction as tags
  # Specify label keys to extract as tags (containers use pod labels)
  # Example: ["app", "name", "version"]
  # extract_k8s_label_as_tags_v2            = []
  # extract_k8s_label_as_tags_v2_for_metric = []

  # Container log filtering (supports glob patterns)
  container_include_log = []                                    # Include specific containers (empty = all)
  container_exclude_log = ["image:*logfwd*", "image:*datakit*"] # Exclude containers by image pattern

  # Pod metric filtering (supports glob patterns)
  pod_include_metric = [] # Include specific pods (empty = all)
  pod_exclude_metric = [] # Exclude specific pods

  # Logging configuration
  logging_enable_multiline              = true  # Enable multiline log detection
  logging_auto_multiline_extra_patterns = []    # Additional multiline patterns

  # Log field filtering
  logging_field_white_list = [] # Only retain specified fields (empty = all fields)

  # Log processing options
  logging_remove_ansi_escape_codes = false # Remove ANSI escape codes from logs
  logging_file_from_beginning      = false # Start reading from beginning of log files

  # Performance tuning
  # logging_max_open_files = 500 # Maximum open files (-1 = unlimited)

  # Source mapping for log collection
  # Maps regex patterns to new source names
  [inputs.container.logging_extra_source_map]
    # ".*nginx.*" = "nginx_logs"
    # ".*apache.*" = "apache_logs"

  # Multiline configuration per source
  # Define multiline patterns for specific log sources
  [inputs.container.logging_source_multiline_map]
    # "java_logs" = '''^\d{4}-\d{2}-\d{2}'''
    # "python_logs" = '''^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'''

  # Global tags for all collected data
  [inputs.container.tags]
    # environment = "production"
    # cluster = "main"
    # region = "us-west-1"

可通过 ConfigMap 方式注入采集器配置 或 配置 ENV_DATAKIT_INPUTS 开启采集器。

也支持以环境变量的方式修改配置参数（需要在 ENV_DEFAULT_ENABLED_INPUTS 中加为默认采集器）：

• ENV_INPUT_CONTAINER_ENDPOINTS

  追加多个容器运行时的 endpoint

  字段类型: List

  采集器配置字段: endpoints

  示例: "unix:///var/run/docker.sock,unix:///var/run/containerd/containerd.sock,unix:///var/run/crio/crio.sock"

• ENV_INPUT_CONTAINER_METRIC_COLLEC_INTERVAL

  容器/k8s 指标数据采集间隔

  字段类型: Duration

  采集器配置字段: metric_collec_interval

  默认值: 60s

• ENV_INPUT_CONTAINER_OBJECT_COLLEC_INTERVAL

  容器/k8s 对象数据采集间隔

  字段类型: Duration

  采集器配置字段: object_collec_interval

  默认值: 5m

• ENV_INPUT_CONTAINER_LOGGING_SEARCH_INTERVAL

  日志发现的时间间隔，即每隔多久检索一次日志，如果间隔太长，会导致忽略了一些存活较短的日志

  字段类型: Duration

  采集器配置字段: logging_search_interval

  默认值: 60s

• ENV_INPUT_CONTAINER_G_C_P_CLOUD_A_P_I_ENABLED

  通过 Google Cloud API 采集 GKE 容器指标和 stdout/stderr 日志

  字段类型: Boolean

  采集器配置字段: g_c_p_cloud_a_p_i_enabled

  默认值: false

• ENV_INPUT_CONTAINER_G_C_P_PROJECT_ID

  可选的 Google Cloud 项目 ID 覆盖值；默认从 GKE metadata server 自动发现

  字段类型: String

  采集器配置字段: g_c_p_project_id

• ENV_INPUT_CONTAINER_G_C_P_CLUSTER_NAME

  可选的 GKE 集群名称覆盖值；默认从 GKE metadata server 自动发现

  字段类型: String

  采集器配置字段: g_c_p_cluster_name

• ENV_INPUT_CONTAINER_G_C_P_CLUSTER_LOCATION

  可选的 GKE 集群区域或可用区覆盖值；默认从 GKE metadata server 自动发现

  字段类型: String

  采集器配置字段: g_c_p_cluster_location

• ENV_INPUT_CONTAINER_ENABLE_G_C_P_CLOUD_MONITORING

  高级覆盖项：是否从 Cloud Monitoring 采集容器指标

  字段类型: Boolean

  采集器配置字段: enable_g_c_p_cloud_monitoring

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_G_C_P_CLOUD_LOGGING

  高级覆盖项：是否从 Cloud Logging 采集容器 stdout/stderr

  字段类型: Boolean

  采集器配置字段: enable_g_c_p_cloud_logging

  默认值: true

• ENV_INPUT_CONTAINER_G_C_P_CLOUD_LOGGING_LOOKBACK

  Cloud Logging 首次采集的回看时间窗口

  字段类型: Duration

  采集器配置字段: g_c_p_cloud_logging_lookback

  默认值: 2m

• ENV_INPUT_CONTAINER_G_C_P_CLOUD_LOGGING_OVERLAP

  Cloud Logging 用于容忍延迟日志的重叠窗口

  字段类型: Duration

  采集器配置字段: g_c_p_cloud_logging_overlap

  默认值: 2m

• ENV_INPUT_CONTAINER_G_C_P_CLOUD_LOGGING_STATE_FILE

  持久化 Cloud Logging 水位和去重状态的文件

  字段类型: String

  采集器配置字段: g_c_p_cloud_logging_state_file

• ENV_INPUT_CONTAINER_ENABLE_CONTAINER_METRIC

  开启容器指标采集

  字段类型: Boolean

  采集器配置字段: enable_container_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_METRIC

  开启 k8s 指标采集

  字段类型: Boolean

  采集器配置字段: enable_k8s_metric

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_POD_METRIC

  是否开启 Pod 指标采集（CPU 和内存使用情况）

  字段类型: Boolean

  采集器配置字段: enable_pod_metric

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_K8S_EVENT

  是否开启分时间采集模式

  字段类型: Boolean

  采集器配置字段: enable_k8s_event

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_K8S_NODE_LOCAL

  是否开启分 Node 采集模式，由部署在各个 Node 的 DataKit 独立采集当前 Node 的资源。 Version-1.19.0 需要额外的 RABC 权限，见此处

  字段类型: Boolean

  采集器配置字段: enable_k8s_node_local

  默认值: true

• ENV_INPUT_CONTAINER_ENABLE_COLLECT_KUBE_JOB

  开启对 Kubernetes Job 资源的采集（包括指标数据和对象数据）

  字段类型: Boolean

  采集器配置字段: enable_collect_kube_job

  默认值: true

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2

  追加资源的 labels 到数据（不包括指标数据）的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2

  示例: '["app","name"]'

• ENV_INPUT_CONTAINER_EXTRACT_K8S_LABEL_AS_TAGS_V2_FOR_METRIC

  追加资源的 labels 到指标数据的 tag 中。需指定 label keys，如果只有一个 key 且为空字符串（例如 [""]），会添加所有 labels 到 tag。容器会继承 Pod labels。如果 label 的 key 有 dot 字符，会将其变为横线

  字段类型: JSON

  采集器配置字段: extract_k8s_label_as_tags_v2_for_metric

  示例: '["app","name"]'

• ENV_INPUT_CONTAINER_CONTAINER_MAX_CONCURRENT

  采集容器数据时的最大并发数，推荐只在采集延迟较大时开启

  字段类型: Int

  采集器配置字段: container_max_concurrent

  默认值: cpu cores + 1

• ENV_INPUT_CONTAINER_CONTAINER_INCLUDE_LOG

  容器日志白名单，使用 image/namespace 过滤

  字段类型: List

  采集器配置字段: container_include_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_CONTAINER_EXCLUDE_LOG

  容器日志黑名单，使用 image/namespace 过滤

  字段类型: List

  采集器配置字段: container_exclude_log

  示例: "image:pubrepo.jiagouyun.com/datakit/logfwd*"

• ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC

  Pod 指标白名单，使用 namespace 过滤

  字段类型: List

  采集器配置字段: pod_include_metric

  示例: "namespace:datakit*"

• ENV_INPUT_CONTAINER_POD_EXCLUDE_METRIC

  Pod 指标黑名单，使用 namespace 过滤

  字段类型: List

  采集器配置字段: pod_exclude_metric

  示例: "namespace:kube-system"

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP

  日志采集配置额外的 source 匹配，符合正则的 source 会被改名

  字段类型: Map

  采集器配置字段: logging_extra_source_map

  示例: source_regex*=new_source,regex*=new_source2

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON

  日志采集根据 source 指定多行配置

  字段类型: JSON

  采集器配置字段: logging_source_multiline_map

  示例: '{"source_nginx":"^\d{4}", "source_redis":"^[A-Za-z_]"}'

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_EXTRA_PATTERNS_JSON

  日志采集自动多行的补充 patterns，仅在内置规则未命中后匹配

  字段类型: JSON

  采集器配置字段: logging_auto_multiline_extra_patterns

  示例: '["^\d{4}-\d{2}", "^[A-Za-z_]"]'

  默认值: For more default rules, see doc

• ENV_INPUT_CONTAINER_LOGGING_REMOVE_ANSI_ESCAPE_CODES

  日志采集删除包含的颜色字符，详见日志特殊字符处理说明

  字段类型: Boolean

  采集器配置字段: logging_remove_ansi_escape_codes

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING_THRESHOLD_SIZE

  根据文件 size 决定是否 from_beginning，如果发现该文件时，文件 size 小于这个值，就使用 from_beginning 从头部开始采集

  字段类型: Int

  采集器配置字段: logging_file_from_beginning_threshold_size

  默认值: 20,000,000

• ENV_INPUT_CONTAINER_LOGGING_FILE_FROM_BEGINNING

  是否从文件首部采集日志

  字段类型: Boolean

  采集器配置字段: logging_file_from_beginning

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_MAX_OPEN_FILES

  日志采集最大打开文件个数，如果是 -1 则没有限制

  字段类型: Int

  采集器配置字段: logging_max_open_files

  默认值: 500

• ENV_INPUT_CONTAINER_LOGGING_FIELD_WHITE_LIST

  指定保留白名单中的字段

  字段类型: List

  采集器配置字段: logging_field_white_list

  示例: '["service","container_id"]'

• ENV_INPUT_CONTAINER_TAGS

  自定义标签。如果配置文件有同名标签，将会覆盖它

  字段类型: Map

  采集器配置字段: tags

  示例: tag1=value1,tag2=value2

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_ANNOTATIONS

  已弃用。是否开启自动发现 Prometheus Pod Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_ANNOTATIONS

  已弃用。是否开启自动发现 Prometheus 服务 Annotations 并采集指标

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_annotations

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_POD_MONITORS

  已弃用。是否开启自动发现 Prometheus Pod Monitor CRD 并采集指标，详见 Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_pod_monitors

  默认值: false

• ENV_INPUT_CONTAINER_ENABLE_AUTO_DISCOVERY_OF_PROMETHEUS_SERVICE_MONITORS

  已弃用。是否开启自动发现 Prometheus ServiceMonitor CRD 并采集指标，详见 Prometheus-Operator CRD 文档

  字段类型: Boolean

  采集器配置字段: enable_auto_discovery_of_prometheus_service_monitors

  默认值: false

• ENV_INPUT_CONTAINER_LOGGING_AUTO_MULTILINE_DETECTION

  已弃用。日志采集是否开启自动多行模式，开启后会在 patterns 列表中匹配适用的多行规则

  字段类型: Boolean

  采集器配置字段: logging_auto_multiline_detection

  默认值: false

环境变量额外说明：

• ENV_INPUT_CONTAINER_TAGS：如果配置文件（container.conf）中有同名 tag，将会被这里的配置覆盖掉。

• ENV_INPUT_CONTAINER_LOGGING_EXTRA_SOURCE_MAP：指定替换 source，参数格式是「正则表达式=new_source」，当某个 source 能够匹配正则表达式，则这个 source 会被 new_source 替换。如果能够替换成功，则不再使用 annotations/labels 中配置的 source（ Version-1.4.7）。如果要做到精确匹配，需要使用 ^ 和 $ 将内容括起来。比如正则表达式写成 datakit，不仅可以匹配 datakit 字样，还能匹配到 datakit123；写成 ^datakit$ 则只能匹配到的 datakit。

• ENV_INPUT_CONTAINER_LOGGING_SOURCE_MULTILINE_MAP_JSON：用来指定 source 到多行配置的映射，如果某个日志没有配置 multiline_match，就会根据它的 source 来此处查找和使用对应的 multiline_match。因为 multiline_match 值是正则表达式较为复杂，所以 value 格式是 JSON 字符串，可以使用 json.cn 辅助编写并压缩成一行。

修改 container.conf 的 endpoints 配置项，将其设置为对应的 sock 路径。

更改 datakit.yaml 的 volumes containerd-socket，将新路径 mount 到 DataKit 中，同时配置环境变量 ENV_INPUT_CONTAINER_ENDPOINTS：

# 添加 env
- env:
  - name: ENV_INPUT_CONTAINER_ENDPOINTS
    value: ["unix:///path/to/new/containerd/containerd.sock"]

# 修改 mountPath
  - mountPath: /path/to/new/containerd/containerd.sock
    name: containerd-socket
    readOnly: true

# 修改 volumes
volumes:
- hostPath:
    path: /path/to/new/containerd/containerd.sock
  name: containerd-socket

  ## 当 Pod 的 namespace 能够匹配 `datakit` 时，采集该 Pod 的指标
  pod_include_metric = ["namespace:datakit"]

  ## 忽略所有 namespace 是 `kodo` 的 Pod
  pod_exclude_metric = ["namespace:kodo"]

• include 和 exclude 配置项必须以字段名开头，格式为类似于 glob 通配符 的表达式："<字段名>:<glob 规则>"。
• 目前，namespace 字段是唯一支持的过滤字段。例如：namespace:datakit-ns。

如果同时设置了 include 和 exclude 配置，Pod 必须满足以下条件：

• 必须满足 include 的规则
• 且不满足 exclude 的规则

例如，以下配置会导致所有 Pod 都被过滤掉：

  ## 只采集 `namespace:datakit` 的 Pod，排除所有命名空间
  pod_include_metric = ["namespace:datakit"]
  pod_exclude_metric = ["namespace:*"]

对于 Kubernetes 环境，可以通过以下环境变量来进行配置：

• ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC
• ENV_INPUT_CONTAINER_POD_EXCLUDE_METRIC

例如，如果希望只采集 namespace 为 kube-system 的 Pod 指标，可以设置 ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC 环境变量，如下所示：

  - env:
      - name: ENV_INPUT_CONTAINER_POD_INCLUDE_METRIC
        value: namespace:kube-system  # 指定需要采集的命名空间

通过这种方式，可以灵活地控制 DataKit 采集的 Pod 指标范围，避免采集不需要的数据，从而优化系统性能和资源利用率。