Dataway 尾采样 Spill 使用指南¶
适用范围¶
Dataway 1.22.2 开始支持。
Spill 默认关闭,仅在 aggregator_mode: standalone 时生效。采样规则和 TTL 仍通过 /v1/tail_sampling_config 下发,参见尾采样配置。
数据生命周期¶
内存预算不足时,Spill 将待决策分组以原始数据形式转存磁盘。追加数据会刷新 TTL;到期后读取、采样并回收,规则丢弃的分组也可能产生磁盘 I/O。
- 退出或重启会清理临时数据,即使使用持久化 PVC 也不会恢复。
- 处理中和发送重试的分组仍占容量,下游持续故障会造成积压。
- 每个实例使用独立可写目录,原始数据保存在
dir下的dataway-tail-spill子目录。相对路径以 Dataway 工作目录为基准。
配置项与限制¶
YAML 的 *_bytes 使用字节整数,时间使用 30s 等 duration。
tail_sampling_spill 配置项 |
默认值 | 说明 |
|---|---|---|
enabled |
false |
仅 standalone 生效 |
dir |
tail-sampling-spill |
磁盘预算大于 0 时要求目录可用 |
memory_bytes |
134217728(128 MiB) |
驻留片段预算,不是 RSS 上限 |
disk_bytes |
2147483648(2 GiB) |
记录及写入预留预算,不预分配磁盘 |
max_group_bytes |
67108864(64 MiB) |
整组原始 payload、元数据和记录头总上限;另限 4096 个片段 |
max_groups |
100000 |
组数上限,包含积压和处理中组;另作 pending 包数上限 |
ingress_concurrent |
2 |
在途 Spill 请求数 |
ingress_max_bytes |
0(自动) |
入口字节预算;自动取 64 MiB 与按 max_group_bytes 收敛后的单请求上限的较大值 |
ingress_read_timeout |
30s |
读取完整 Body 的时限;0 使用默认值 |
workers |
2 |
同时处理到期组的 worker 数 |
配置时注意:
memory_bytes、disk_bytes不能同时为 0;组数、并发数和 Worker 数必须为正。- 单请求上限取正值
max_http_body_bytes、max_group_bytes和生效入口字节预算的最小值。未知请求长度按该上限预留,压缩请求还需预留解压后的容量。 - 组大小包含原始数据及记录开销;启用 Kodo 队列时,组数据还受
queue_max_bytes限制。 - 配置预算不等于总内存上限,应为解压、处理和发送预留额外内存。
环境变量使用 DW_TAIL_SAMPLING_SPILL_ 加大写字段名;字节值可用 MiB / GiB,如 DW_TAIL_SAMPLING_SPILL_MEMORY_BYTES=2GiB。若同时存在 legacy dataway.yaml,文件配置优先。
配置参考¶
以下以 16c/32g 宿主机、单实例和 SSD 数据盘为例。保留已有 token、remote_host 等配置,并按实际负载调整。
示例使用 Kodo 队列发送采样结果:tail_sampling_spill.workers 控制分组处理并发,kodo_queue 控制发送并发和排队容量。
aggregator_mode: standalone
max_http_body_bytes: 67108864 # 64 MiB
tail_sampling_spill:
enabled: true
dir: /data/dataway/spill
memory_bytes: 2147483648 # 2 GiB
disk_bytes: 128849018880 # 120 GiB
max_group_bytes: 67108864 # 64 MiB,含记录头和元数据
max_groups: 100000
ingress_concurrent: 16 # 先以 16 起步,观察后再尝试 32
ingress_max_bytes: 536870912 # 512 MiB
ingress_read_timeout: 30s
workers: 8
kodo_queue:
enabled: true
workers: 32
queue_size: 128
queue_max_bytes: 1073741824 # 1 GiB,排队和发送中的请求体共用
enqueue_timeout: 100ms
入口并发先设为 16,为其他请求留出空间;kodo_queue.workers: 32 同时限制所有带请求体的 HTTP 请求并发。
| 项目 | 这组配置的约束 |
|---|---|
| 入口 | 512 MiB 最多容纳 8 个各计费 64 MiB 的请求;未知长度也按 64 MiB 预留 |
| 内存 | 8 个 Worker 同时处理最大分组约需 512 MiB,解压、分流及发送还需额外内存;以实际 RSS 和容器内存为准 |
| 发送 | 1 GiB 约容纳 16 份 64 MiB 请求体,可能先于 128 个队列槽位耗尽;计费包含发送中任务 |
| 磁盘 | Spill 预算为 120 GiB;留 20% 空间需至少 120 / 0.8 = 150 GiB,尚未计其他数据,建议以独立 200 GiB 数据卷起步 |
| 组数 | 5 分钟 TTL、无追加和积压时,100000 组约对应 333 个新组/秒;追加刷新 TTL 和下游等待会降低余量 |
按采样前原始数据量和驻留时间估算容量,低采样率不会同比降低存储需求。结合组大小、TTL、输入速率和 SSD 延迟调整。
Kubernetes 存储选择¶
生产环境建议独立 SSD 数据卷,隔离系统盘上的容器和日志 I/O。已有独立 SSD 可继续使用。
| 卷类型 | 注意事项 |
|---|---|
| SSD 云盘 PVC | 按 StorageClass 选择性能档位,核对云盘及节点的 IOPS、吞吐上限 |
| 本地 SSD Local PV | 需要节点亲和性,Pod 依赖本地盘所在节点 |
普通 emptyDir |
可能仍落系统盘;sizeLimit 不预留独立磁盘,需核对底层存储 |
emptyDir.medium: Memory |
占用容器内存,不适合缓解内存压力的磁盘 Spill |
卷语义见 Kubernetes 文档。本例用 StatefulSet volumeClaimTemplates 为每个 Pod 分配独立 PVC,见存储说明。
阿里云 ACK + ESSD 配置示例¶
适用于已安装云盘 CSI 的 ACK ECS 工作节点:单副本 standalone、200 GiB ESSD PL1,使用 WaitForFirstConsumer 匹配 Pod 可用区。参数见 ACK 云盘文档。
替换 UUID、token、Kodo 地址,确认 ECS 和可用区支持该盘,将以下内容保存为 dataway-spill-ack.yaml。UUID 使用已注册实例的值;扩容时每实例需要独立 UUID,并保持同一采样组路由到同一后置节点。
apiVersion: v1
kind: Namespace
metadata:
name: dataway
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: dataway-spill-essd
provisioner: diskplugin.csi.alibabacloud.com
parameters:
type: cloud_essd
fstype: ext4
performanceLevel: PL1
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
reclaimPolicy: Retain
---
apiVersion: v1
kind: Secret
metadata:
name: dataway-tail-credentials
namespace: dataway
type: Opaque
stringData:
DW_UUID: "REPLACE_WITH_REGISTERED_DATAWAY_UUID"
DW_TOKEN: "REPLACE_WITH_DATAWAY_TOKEN"
---
apiVersion: v1
kind: ConfigMap
metadata:
name: dataway-tail-env
namespace: dataway
data:
DW_REMOTE_HOST: "http://kodo.example.internal:9527"
DW_BIND: "0.0.0.0:9528"
DW_PROM_LISTEN: "0.0.0.0:9090"
DW_AGGREGATOR_MODE: "standalone"
DW_MAX_HTTP_BODY_BYTES: "67108864"
DW_TAIL_SAMPLING_SPILL_ENABLED: "true"
DW_TAIL_SAMPLING_SPILL_DIR: "/usr/local/cloudcare/dataflux/dataway/data/spill"
DW_TAIL_SAMPLING_SPILL_MEMORY_BYTES: "2GiB"
DW_TAIL_SAMPLING_SPILL_DISK_BYTES: "120GiB"
DW_TAIL_SAMPLING_SPILL_MAX_GROUP_BYTES: "64MiB"
DW_TAIL_SAMPLING_SPILL_MAX_GROUPS: "100000"
DW_TAIL_SAMPLING_SPILL_INGRESS_CONCURRENT: "16"
DW_TAIL_SAMPLING_SPILL_INGRESS_MAX_BYTES: "512MiB"
DW_TAIL_SAMPLING_SPILL_INGRESS_READ_TIMEOUT: "30s"
DW_TAIL_SAMPLING_SPILL_WORKERS: "8"
DW_KODO_QUEUE_ENABLED: "true"
DW_KODO_QUEUE_WORKERS: "32"
DW_KODO_QUEUE_SIZE: "128"
DW_KODO_QUEUE_MAX_BYTES: "1GiB"
DW_KODO_QUEUE_ENQUEUE_TIMEOUT: "100ms"
---
apiVersion: v1
kind: Service
metadata:
name: dataway-tail
namespace: dataway
spec:
clusterIP: None
selector:
app: dataway-tail
ports:
- name: http
port: 9528
targetPort: http
- name: metrics
port: 9090
targetPort: metrics
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: dataway-tail
namespace: dataway
spec:
serviceName: dataway-tail
replicas: 1
selector:
matchLabels:
app: dataway-tail
template:
metadata:
labels:
app: dataway-tail
spec:
containers:
- name: dataway
image: pubrepo.guance.com/dataflux/dataway:1.22.2
imagePullPolicy: IfNotPresent
command: ["/usr/local/cloudcare/dataflux/dataway/dataway"]
args: ["--docker"]
envFrom:
- configMapRef:
name: dataway-tail-env
- secretRef:
name: dataway-tail-credentials
ports:
- name: http
containerPort: 9528
- name: metrics
containerPort: 9090
readinessProbe:
tcpSocket:
port: http
initialDelaySeconds: 5
periodSeconds: 10
resources:
requests:
cpu: "8"
memory: 16Gi
limits:
cpu: "12"
memory: 24Gi
volumeMounts:
- name: data
mountPath: /usr/local/cloudcare/dataflux/dataway/data
volumeClaimTemplates:
- metadata:
name: data
spec:
accessModes: ["ReadWriteOnce"]
volumeMode: Filesystem
storageClassName: dataway-spill-essd
resources:
requests:
storage: 200Gi
disk_bytes是 Spill 的磁盘预算,不会扩容 PVC。- StatefulSet 默认保留 PVC;
Retain还在删除 PVC 后保留云盘,需另行回收。 - Pod 上限 12 核 / 24 GiB,为 16c/32g 宿主机的系统组件留余量;仍需核对节点 allocatable 和其他负载。
部署与挂载检查¶
替换占位值后执行:
kubectl apply -f dataway-spill-ack.yaml
kubectl -n dataway rollout status statefulset/dataway-tail
kubectl -n dataway get pods,pvc
kubectl -n dataway describe pvc data-dataway-tail-0
kubectl -n dataway exec dataway-tail-0 -- df -h /usr/local/cloudcare/dataflux/dataway/data
确认 PVC 为 Bound、200 GiB,关联云盘为 ESSD PL1,df 指向数据卷。Pod 调度前 PVC 暂时 Pending 正常;持续 Pending 时检查 CSI、可用区、磁盘配额和节点资源。
前置 proxy 可配置后端地址 http://dataway-tail-0.dataway-tail.dataway.svc.cluster.local:9528,按实际集群 DNS 域调整。仍需下发采样规则。
本机检查指标:一个终端执行端口转发,另一个终端执行查询。
持续采集应抓取各 Pod 的 9090 端口,保留实例维度。ConfigMap 环境变量更新后需重建 Pod,按数据生命周期安排变更。
响应与故障处理¶
| 响应 | 含义与处理 |
|---|---|
200 |
已接收,尚未确认下游送达 |
412 |
已进 pending,补发配置,不重发 packet;pending 限 8 MiB 和 max_groups 个包 |
413 |
请求、整组、片段数或 Kodo 字节超限;调整数据大小,不原样重试。已接收片段仍可处理 |
503 + Retry-After: 1 |
入口/容量不足、读取超时或落盘失败等;按指标定位并退避重试 |
400 / 415 |
内容或压缩协议错误,见上报协议 |
Spill 自行重试 Kodo 网络错误、408、429 和 5xx,不进入 HTTP 失败缓存。默认间隔 1 秒,Retry-After 最多延长至 60 秒。同组其他目标不受退避和队列等待阻塞,成功目标不重复发送;不可重试错误只结束对应目标。
重试等待会释放 Kodo 队列额度,但仍占用分组、Worker 和请求体内存;这部分内存不计入队列预算。enqueue_timeout 仅限制单次入队等待。持续重试请查看重试指标和日志,send_error 在分组处理结束时才记录最终错误。
删除文件失败会暂停新落盘,后台清理成功后恢复;回读失败可能造成数据损失,应检查日志和磁盘。
Spill 指标¶
Spill 指标在本地 /metrics 暴露,并每分钟上报到中心 dataway_aggregate。本地采集方式见 Prometheus / Datakit Prom 采集。
Counter 自启动累计,Gauge 表示当前值,两者都不随上报重置。中心按唯一 UUID 标签 dataway_id 区分实例,本地采集按 instance 区分。两条路径任选其一,避免重复计数;未出现的样本不能视为 0。
资源占用¶
dataway_tail_sampling_spill_usage(Gauge)。没有预算 Gauge,占用率分母取实例配置。
resource |
单位 | 口径 |
|---|---|---|
ingress_bytes |
字节 | 在途预留及解压额度增长,不是所有请求缓冲总内存 |
memory_bytes |
字节 | 驻留片段计费,不含全部回读、合并、分流副本及索引 |
disk_bytes |
字节 | 记录、写入预留和未删除文件,不等于文件系统占用 |
pending_bytes |
字节 | 待配置片段计费,固定 8 MiB 上限 |
groups |
组 | 接收后等待、处理中和重试的组,不含 pending |
processing_groups |
组 | Worker 持有的组,含 I/O 和重试等待,不是 CPU 活跃线程数 |
活动与错误¶
dataway_tail_sampling_spill_events_total(Counter)。事件可重叠,不能相加得到请求量或丢数。
event |
口径 |
|---|---|
write |
成功落盘/追加次数,不是字节数 |
read |
成功回读组数,与多次追加的 write 不一一对应 |
ingress_rejected |
入口并发或字节预留不足,不含全局 HTTP 拒绝 |
ingress_read_timeout |
读完整 Body 超时 |
capacity_rejected |
分组接收返回 503,含组数、磁盘、写入、pending 容量问题 |
write_error |
写入失败,可能同时计入 capacity_rejected |
read_error |
回读/校验失败,已接收数据可能损失 |
cleanup_error |
删除失败,同一文件重试可重复计数 |
send_error |
发送最终返回错误,持续瞬态重试不一定增加 |
kodo_queue_retry |
Kodo 队列容量不足,进入等待 |
kodo_send_retry |
下游临时错误退避后重试 |
与原有尾采指标的区别¶
Spill 的积压和容量应使用专用指标,普通模式的 submit_queue_*、batch_pending_* 和 batch_payload_bytes_total 不适用。Spill 发送原始 PBPoints,普通模式发送 Zstd 压缩数据。
phase_seconds 中的 ingest、sink、send 可辅助排查,其中 send 包含重试等待。其他阶段和规则计数未完整覆盖 Spill,不能用于推算丢数;请结合日志和下游数据核对。
查询与性能排查¶
以下分母对应样例配置,修改配置时同步更新,保留每实例维度。
# 磁盘和组数占用率
dataway_tail_sampling_spill_usage{resource="disk_bytes"} / 128849018880
dataway_tail_sampling_spill_usage{resource="groups"} / 100000
# 忙 worker 比例(含等待)和进程 RSS(GiB)
dataway_tail_sampling_spill_usage{resource="processing_groups"} / 8
dataway_mem_stat{type="rss"} / 1073741824
# 错误、拒绝和重试速率
sum by (instance, event) (
rate(dataway_tail_sampling_spill_events_total{event=~".*error|.*rejected|ingress_read_timeout|kodo_.*retry"}[5m])
)
| 现象 | 优先检查 |
|---|---|
| CPU 增加 | dataway_cpu_usage、输入量、ingest/sink 耗时和 pprof;busy worker 不等于 CPU 忙 |
| RSS 增加而 memory_bytes 稳定 | dataway_mem_stat{type="rss"}、并发大组、回读/分流副本、堆和 GC;另看主机可用内存及页缓存 |
| 磁盘或 groups 持续增加 | 输入速率、TTL、SSD 延迟、inode、Kodo 429/5xx |
| 处理组长期满 | kodo_send_retry / kodo_queue_retry、dataway_kodo_queue_bytes / dataway_kodo_queue_depth;退避时队列空不代表下游正常 |
| 503 增加 | 全局 dataway_http_concurrency_requests_total 与 ingress_rejected、ingress_read_timeout、capacity_rejected 区分原因 |
| 读写或清理错误增加 | 日志、空间、inode、权限和磁盘健康 |
dataway_process_io_bytes_total(type="r" / "w")覆盖整个进程,应结合设备延迟和利用率看。试运行至少覆盖一个完整有效 TTL、突发大组、下游限流与恢复,观察积压能否回落后再调整并发。