跳转至

Dataway 尾采样 Spill 使用指南


适用范围

Dataway 1.22.2 开始支持。

Spill 默认关闭,仅在 aggregator_mode: standalone 时生效。采样规则和 TTL 仍通过 /v1/tail_sampling_config 下发,参见尾采样配置。

数据生命周期

内存预算不足时,Spill 将待决策分组以原始数据形式转存磁盘。追加数据会刷新 TTL;到期后读取、采样并回收,规则丢弃的分组也可能产生磁盘 I/O。

  • 退出或重启会清理临时数据,即使使用持久化 PVC 也不会恢复。
  • 处理中和发送重试的分组仍占容量,下游持续故障会造成积压。
  • 每个实例使用独立可写目录,原始数据保存在 dir 下的 dataway-tail-spill 子目录。相对路径以 Dataway 工作目录为基准。

配置项与限制

YAML 的 *_bytes 使用字节整数,时间使用 30s 等 duration。

tail_sampling_spill 配置项 默认值 说明
enabled false 仅 standalone 生效
dir tail-sampling-spill 磁盘预算大于 0 时要求目录可用
memory_bytes 134217728(128 MiB) 驻留片段预算,不是 RSS 上限
disk_bytes 2147483648(2 GiB) 记录及写入预留预算,不预分配磁盘
max_group_bytes 67108864(64 MiB) 整组原始 payload、元数据和记录头总上限;另限 4096 个片段
max_groups 100000 组数上限,包含积压和处理中组;另作 pending 包数上限
ingress_concurrent 2 在途 Spill 请求数
ingress_max_bytes 0(自动) 入口字节预算;自动取 64 MiB 与按 max_group_bytes 收敛后的单请求上限的较大值
ingress_read_timeout 30s 读取完整 Body 的时限;0 使用默认值
workers 2 同时处理到期组的 worker 数

配置时注意:

  • memory_bytes、disk_bytes 不能同时为 0;组数、并发数和 Worker 数必须为正。
  • 单请求上限取正值 max_http_body_bytes、max_group_bytes 和生效入口字节预算的最小值。未知请求长度按该上限预留,压缩请求还需预留解压后的容量。
  • 组大小包含原始数据及记录开销;启用 Kodo 队列时,组数据还受 queue_max_bytes 限制。
  • 配置预算不等于总内存上限,应为解压、处理和发送预留额外内存。

环境变量使用 DW_TAIL_SAMPLING_SPILL_ 加大写字段名;字节值可用 MiB / GiB,如 DW_TAIL_SAMPLING_SPILL_MEMORY_BYTES=2GiB。若同时存在 legacy dataway.yaml,文件配置优先。

配置参考

以下以 16c/32g 宿主机、单实例和 SSD 数据盘为例。保留已有 token、remote_host 等配置,并按实际负载调整。

示例使用 Kodo 队列发送采样结果:tail_sampling_spill.workers 控制分组处理并发,kodo_queue 控制发送并发和排队容量。

aggregator_mode: standalone
max_http_body_bytes: 67108864       # 64 MiB

tail_sampling_spill:
  enabled: true
  dir: /data/dataway/spill
  memory_bytes: 2147483648          # 2 GiB
  disk_bytes: 128849018880          # 120 GiB
  max_group_bytes: 67108864         # 64 MiB,含记录头和元数据
  max_groups: 100000
  ingress_concurrent: 16           # 先以 16 起步,观察后再尝试 32
  ingress_max_bytes: 536870912      # 512 MiB
  ingress_read_timeout: 30s
  workers: 8

kodo_queue:
  enabled: true
  workers: 32
  queue_size: 128
  queue_max_bytes: 1073741824       # 1 GiB,排队和发送中的请求体共用
  enqueue_timeout: 100ms

入口并发先设为 16,为其他请求留出空间;kodo_queue.workers: 32 同时限制所有带请求体的 HTTP 请求并发。

项目 这组配置的约束
入口 512 MiB 最多容纳 8 个各计费 64 MiB 的请求;未知长度也按 64 MiB 预留
内存 8 个 Worker 同时处理最大分组约需 512 MiB,解压、分流及发送还需额外内存;以实际 RSS 和容器内存为准
发送 1 GiB 约容纳 16 份 64 MiB 请求体,可能先于 128 个队列槽位耗尽;计费包含发送中任务
磁盘 Spill 预算为 120 GiB;留 20% 空间需至少 120 / 0.8 = 150 GiB,尚未计其他数据,建议以独立 200 GiB 数据卷起步
组数 5 分钟 TTL、无追加和积压时,100000 组约对应 333 个新组/秒;追加刷新 TTL 和下游等待会降低余量

按采样前原始数据量和驻留时间估算容量,低采样率不会同比降低存储需求。结合组大小、TTL、输入速率和 SSD 延迟调整。

Kubernetes 存储选择

生产环境建议独立 SSD 数据卷,隔离系统盘上的容器和日志 I/O。已有独立 SSD 可继续使用。

卷类型 注意事项
SSD 云盘 PVC 按 StorageClass 选择性能档位,核对云盘及节点的 IOPS、吞吐上限
本地 SSD Local PV 需要节点亲和性,Pod 依赖本地盘所在节点
普通 emptyDir 可能仍落系统盘;sizeLimit 不预留独立磁盘,需核对底层存储
emptyDir.medium: Memory 占用容器内存,不适合缓解内存压力的磁盘 Spill

卷语义见 Kubernetes 文档。本例用 StatefulSet volumeClaimTemplates 为每个 Pod 分配独立 PVC,见存储说明。

阿里云 ACK + ESSD 配置示例

适用于已安装云盘 CSI 的 ACK ECS 工作节点:单副本 standalone、200 GiB ESSD PL1,使用 WaitForFirstConsumer 匹配 Pod 可用区。参数见 ACK 云盘文档。

替换 UUID、token、Kodo 地址,确认 ECS 和可用区支持该盘,将以下内容保存为 dataway-spill-ack.yaml。UUID 使用已注册实例的值;扩容时每实例需要独立 UUID,并保持同一采样组路由到同一后置节点。

apiVersion: v1
kind: Namespace
metadata:
  name: dataway
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: dataway-spill-essd
provisioner: diskplugin.csi.alibabacloud.com
parameters:
  type: cloud_essd
  fstype: ext4
  performanceLevel: PL1
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
reclaimPolicy: Retain
---
apiVersion: v1
kind: Secret
metadata:
  name: dataway-tail-credentials
  namespace: dataway
type: Opaque
stringData:
  DW_UUID: "REPLACE_WITH_REGISTERED_DATAWAY_UUID"
  DW_TOKEN: "REPLACE_WITH_DATAWAY_TOKEN"
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: dataway-tail-env
  namespace: dataway
data:
  DW_REMOTE_HOST: "http://kodo.example.internal:9527"
  DW_BIND: "0.0.0.0:9528"
  DW_PROM_LISTEN: "0.0.0.0:9090"
  DW_AGGREGATOR_MODE: "standalone"
  DW_MAX_HTTP_BODY_BYTES: "67108864"
  DW_TAIL_SAMPLING_SPILL_ENABLED: "true"
  DW_TAIL_SAMPLING_SPILL_DIR: "/usr/local/cloudcare/dataflux/dataway/data/spill"
  DW_TAIL_SAMPLING_SPILL_MEMORY_BYTES: "2GiB"
  DW_TAIL_SAMPLING_SPILL_DISK_BYTES: "120GiB"
  DW_TAIL_SAMPLING_SPILL_MAX_GROUP_BYTES: "64MiB"
  DW_TAIL_SAMPLING_SPILL_MAX_GROUPS: "100000"
  DW_TAIL_SAMPLING_SPILL_INGRESS_CONCURRENT: "16"
  DW_TAIL_SAMPLING_SPILL_INGRESS_MAX_BYTES: "512MiB"
  DW_TAIL_SAMPLING_SPILL_INGRESS_READ_TIMEOUT: "30s"
  DW_TAIL_SAMPLING_SPILL_WORKERS: "8"
  DW_KODO_QUEUE_ENABLED: "true"
  DW_KODO_QUEUE_WORKERS: "32"
  DW_KODO_QUEUE_SIZE: "128"
  DW_KODO_QUEUE_MAX_BYTES: "1GiB"
  DW_KODO_QUEUE_ENQUEUE_TIMEOUT: "100ms"
---
apiVersion: v1
kind: Service
metadata:
  name: dataway-tail
  namespace: dataway
spec:
  clusterIP: None
  selector:
    app: dataway-tail
  ports:
    - name: http
      port: 9528
      targetPort: http
    - name: metrics
      port: 9090
      targetPort: metrics
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: dataway-tail
  namespace: dataway
spec:
  serviceName: dataway-tail
  replicas: 1
  selector:
    matchLabels:
      app: dataway-tail
  template:
    metadata:
      labels:
        app: dataway-tail
    spec:
      containers:
        - name: dataway
          image: pubrepo.guance.com/dataflux/dataway:1.22.2
          imagePullPolicy: IfNotPresent
          command: ["/usr/local/cloudcare/dataflux/dataway/dataway"]
          args: ["--docker"]
          envFrom:
            - configMapRef:
                name: dataway-tail-env
            - secretRef:
                name: dataway-tail-credentials
          ports:
            - name: http
              containerPort: 9528
            - name: metrics
              containerPort: 9090
          readinessProbe:
            tcpSocket:
              port: http
            initialDelaySeconds: 5
            periodSeconds: 10
          resources:
            requests:
              cpu: "8"
              memory: 16Gi
            limits:
              cpu: "12"
              memory: 24Gi
          volumeMounts:
            - name: data
              mountPath: /usr/local/cloudcare/dataflux/dataway/data
  volumeClaimTemplates:
    - metadata:
        name: data
      spec:
        accessModes: ["ReadWriteOnce"]
        volumeMode: Filesystem
        storageClassName: dataway-spill-essd
        resources:
          requests:
            storage: 200Gi
  • disk_bytes 是 Spill 的磁盘预算,不会扩容 PVC。
  • StatefulSet 默认保留 PVC;Retain 还在删除 PVC 后保留云盘,需另行回收。
  • Pod 上限 12 核 / 24 GiB,为 16c/32g 宿主机的系统组件留余量;仍需核对节点 allocatable 和其他负载。

部署与挂载检查

替换占位值后执行:

kubectl apply -f dataway-spill-ack.yaml
kubectl -n dataway rollout status statefulset/dataway-tail
kubectl -n dataway get pods,pvc
kubectl -n dataway describe pvc data-dataway-tail-0
kubectl -n dataway exec dataway-tail-0 -- df -h /usr/local/cloudcare/dataflux/dataway/data

确认 PVC 为 Bound、200 GiB,关联云盘为 ESSD PL1,df 指向数据卷。Pod 调度前 PVC 暂时 Pending 正常;持续 Pending 时检查 CSI、可用区、磁盘配额和节点资源。

前置 proxy 可配置后端地址 http://dataway-tail-0.dataway-tail.dataway.svc.cluster.local:9528,按实际集群 DNS 域调整。仍需下发采样规则。

本机检查指标:一个终端执行端口转发,另一个终端执行查询。

kubectl -n dataway port-forward pod/dataway-tail-0 9090:9090
curl -fsS http://127.0.0.1:9090/metrics | grep '^dataway_tail_sampling_spill_'

持续采集应抓取各 Pod 的 9090 端口,保留实例维度。ConfigMap 环境变量更新后需重建 Pod,按数据生命周期安排变更。

响应与故障处理

响应 含义与处理
200 已接收,尚未确认下游送达
412 已进 pending,补发配置,不重发 packet;pending 限 8 MiB 和 max_groups 个包
413 请求、整组、片段数或 Kodo 字节超限;调整数据大小,不原样重试。已接收片段仍可处理
503 + Retry-After: 1 入口/容量不足、读取超时或落盘失败等;按指标定位并退避重试
400 / 415 内容或压缩协议错误,见上报协议

Spill 自行重试 Kodo 网络错误、408、429 和 5xx,不进入 HTTP 失败缓存。默认间隔 1 秒,Retry-After 最多延长至 60 秒。同组其他目标不受退避和队列等待阻塞,成功目标不重复发送;不可重试错误只结束对应目标。

重试等待会释放 Kodo 队列额度,但仍占用分组、Worker 和请求体内存;这部分内存不计入队列预算。enqueue_timeout 仅限制单次入队等待。持续重试请查看重试指标和日志,send_error 在分组处理结束时才记录最终错误。

删除文件失败会暂停新落盘,后台清理成功后恢复;回读失败可能造成数据损失,应检查日志和磁盘。

Spill 指标

Spill 指标在本地 /metrics 暴露,并每分钟上报到中心 dataway_aggregate。本地采集方式见 Prometheus / Datakit Prom 采集。

Counter 自启动累计,Gauge 表示当前值,两者都不随上报重置。中心按唯一 UUID 标签 dataway_id 区分实例,本地采集按 instance 区分。两条路径任选其一,避免重复计数;未出现的样本不能视为 0。

资源占用

dataway_tail_sampling_spill_usage(Gauge)。没有预算 Gauge,占用率分母取实例配置。

resource 单位 口径
ingress_bytes 字节 在途预留及解压额度增长,不是所有请求缓冲总内存
memory_bytes 字节 驻留片段计费,不含全部回读、合并、分流副本及索引
disk_bytes 字节 记录、写入预留和未删除文件,不等于文件系统占用
pending_bytes 字节 待配置片段计费,固定 8 MiB 上限
groups 组 接收后等待、处理中和重试的组,不含 pending
processing_groups 组 Worker 持有的组,含 I/O 和重试等待,不是 CPU 活跃线程数

活动与错误

dataway_tail_sampling_spill_events_total(Counter)。事件可重叠,不能相加得到请求量或丢数。

event 口径
write 成功落盘/追加次数,不是字节数
read 成功回读组数,与多次追加的 write 不一一对应
ingress_rejected 入口并发或字节预留不足,不含全局 HTTP 拒绝
ingress_read_timeout 读完整 Body 超时
capacity_rejected 分组接收返回 503,含组数、磁盘、写入、pending 容量问题
write_error 写入失败,可能同时计入 capacity_rejected
read_error 回读/校验失败,已接收数据可能损失
cleanup_error 删除失败,同一文件重试可重复计数
send_error 发送最终返回错误,持续瞬态重试不一定增加
kodo_queue_retry Kodo 队列容量不足,进入等待
kodo_send_retry 下游临时错误退避后重试

与原有尾采指标的区别

Spill 的积压和容量应使用专用指标,普通模式的 submit_queue_*、batch_pending_* 和 batch_payload_bytes_total 不适用。Spill 发送原始 PBPoints,普通模式发送 Zstd 压缩数据。

phase_seconds 中的 ingest、sink、send 可辅助排查,其中 send 包含重试等待。其他阶段和规则计数未完整覆盖 Spill,不能用于推算丢数;请结合日志和下游数据核对。

查询与性能排查

以下分母对应样例配置,修改配置时同步更新,保留每实例维度。

# 磁盘和组数占用率
dataway_tail_sampling_spill_usage{resource="disk_bytes"} / 128849018880
dataway_tail_sampling_spill_usage{resource="groups"} / 100000

# 忙 worker 比例(含等待)和进程 RSS(GiB)
dataway_tail_sampling_spill_usage{resource="processing_groups"} / 8
dataway_mem_stat{type="rss"} / 1073741824

# 错误、拒绝和重试速率
sum by (instance, event) (
  rate(dataway_tail_sampling_spill_events_total{event=~".*error|.*rejected|ingress_read_timeout|kodo_.*retry"}[5m])
)
现象 优先检查
CPU 增加 dataway_cpu_usage、输入量、ingest/sink 耗时和 pprof;busy worker 不等于 CPU 忙
RSS 增加而 memory_bytes 稳定 dataway_mem_stat{type="rss"}、并发大组、回读/分流副本、堆和 GC;另看主机可用内存及页缓存
磁盘或 groups 持续增加 输入速率、TTL、SSD 延迟、inode、Kodo 429/5xx
处理组长期满 kodo_send_retry / kodo_queue_retry、dataway_kodo_queue_bytes / dataway_kodo_queue_depth;退避时队列空不代表下游正常
503 增加 全局 dataway_http_concurrency_requests_total 与 ingress_rejected、ingress_read_timeout、capacity_rejected 区分原因
读写或清理错误增加 日志、空间、inode、权限和磁盘健康

dataway_process_io_bytes_total(type="r" / "w")覆盖整个进程,应结合设备延迟和利用率看。试运行至少覆盖一个完整有效 TTL、突发大组、下游限流与恢复,观察积压能否回落后再调整并发。

文档评价

文档内容是否对您有帮助?