跳转至

Dataway 尾采样


功能介绍

Dataway 对 tracing、logging 和 rum 数据按组执行尾采样:先接收数据,到期后按规则决定保留或丢弃,再将保留的数据发送到中心。

Dataway 1.22.2 开始支持 Spill 临时落盘,在内存预算不足时将待决策分组转存磁盘。配置示例见 ACK + ESSD 部署。

普通模式批量发送时使用 Zstd 压缩,下游 KodoX Point Worker 需支持 Content-Encoding: zstd。内存预算仅约束对应缓冲,不是进程总内存上限。

工作模式

尾采样与聚合共用 aggregator_mode 配置。

Standalone

当前节点接收数据,根据 token + data_type 查找采样规则,处理到期分组并发送保留的数据。

Proxy

当前节点将数据转发到后端节点,并将 /v1/tail_sampling_config 配置广播到所有后端。需要配置 aggregator_endpoint,客户端需携带有效的 Guance-Pick-Key,确保同一分组到达同一后端。

Kubernetes 后端建议使用 StatefulSet,并在 aggregator_endpoint 中填写稳定的 Pod DNS 地址。

本地配置

尾采样与聚合共用以下模式配置:

aggregator_mode: standalone
aggregator_endpoint:
  - http://dataway-0:9528
  - http://dataway-1:9528

环境变量:

DW_AGGREGATOR_MODE=standalone
DW_AGGREGATOR_ENDPOINTS=http://dataway-0:9528,http://dataway-1:9528

后端地址仅在 proxy 模式下使用。

尾采样临时落盘

Spill 默认关闭,仅在 standalone 节点上生效。启用方式、完整配置和存储部署见 Spill 使用指南。

  • 每个实例使用独立、可写的数据盘目录。
  • 进程退出或重启会清理临时数据,即使使用持久化卷也不会恢复。
  • 保留数据沿用 Sinker 分流规则;下游临时故障由 Spill 重试,成功目标不重复发送。

采样配置下发

尾采样规则通过接口下发,而不是写在 dataway.yaml 中:

POST /v1/tail_sampling_config

请求体为 JSON,按数据类型使用 trace、logging 或 rum 字段,完整示例见下文。derived_metrics 不受支持,配置后会返回错误。

Tracing 配置示例

{
  "version": 1,
  "trace": {
    "version": 1,
    "data_ttl": "5m",
    "group_key": "trace_id",
    "pipelines": [
      {
        "name": "keep-all",
        "type": "probabilistic",
        "rate": 1
      }
    ],
    "builtin_metrics": [
      {
        "name": "trace_total_count",
        "enabled": true
      }
    ]
  }
}

说明:

  • trace.group_key 当前只能是 trace_id
  • trace.data_ttl 为空时默认 5m
  • pipelines 支持 condition 和 probabilistic
    • condition 使用 action=keep/drop
    • probabilistic 使用 rate=0~1

Logging 配置示例

Logging 和 RUM 使用 group_dimensions 设置分组维度,data_ttl 为空时默认 1m。

{
  "version": 1,
  "logging": {
    "version": 1,
    "data_ttl": "1m",
    "group_dimensions": [
      {
        "group_key": "service",
        "pipelines": [
          {
            "name": "keep-all",
            "type": "probabilistic",
            "rate": 1
          }
        ]
      }
    ]
  }
}

RUM 配置示例

{
  "version": 1,
  "rum": {
    "version": 1,
    "data_ttl": "1m",
    "group_dimensions": [
      {
        "group_key": "session_id",
        "pipelines": [
          {
            "name": "keep-all",
            "type": "probabilistic",
            "rate": 1
          }
        ]
      }
    ]
  }
}

数据上报接口

DataKit Aggregator 自动通过 HTTP POST 上报尾采样数据包,无需手工构造。下表用于核对客户端版本与协议兼容性;压缩 Header 指 Guance-Tail-Sampling-Payload-Compression。

客户端场景 请求路径 压缩 Header PayloadCompression Payload
Datakit 2.10 以前版本 /v1/tail_sampling 无 0 Raw PBPoints
Datakit 2.10 兼容路径 /v1/tail_sampling 无 1 Zstd PBPoints
Datakit 2.11 及以上默认路径 /v2/tail_sampling zstd 1 Zstd PBPoints
Datakit 2.11 及以上降级路径 /v1/tail_sampling 无 0 Raw PBPoints

历史路径 /v1/tail_sampling_v2 仅接受无压缩 Header 的 Raw 数据,PayloadCompression 必须为 0。

常见响应状态码:

状态码 含义
200 数据已接收,不代表已送达下游
400 数据格式或字段无效
412 采样配置未就绪,数据已暂存;补发配置,不要重发数据
413 请求或分组超限;缩小数据后重试
415 压缩方法、路径、Header 或压缩字段不匹配
503 容量不足、读取超时或落盘失败,本次数据未接收;退避重试

Spill 的容量限制和故障处理见响应与故障处理。

压缩协议与滚动升级

Datakit 2.11 及以上默认使用 /v2/tail_sampling。收到 404 或 415 后,会改用未压缩数据请求 /v1/tail_sampling,并缓存该节点的旧协议能力 10 分钟,因此可与支持上述协议的 Dataway 混合滚动升级。

Datakit 2.10 需要使用支持无协商 Header 的 Zstd 数据包的 Dataway;更早版本继续使用未压缩的 V1 协议。

保留数据发送与退出恢复

未启用 Spill 时,保留数据通过发送队列写入下游:

  • 发送失败最多退避重试 3 次,耗尽后计入 failure/drop。
  • 内存队列满时转存磁盘,重启后继续发送。
  • 退出时优先将待发送数据写入磁盘;磁盘不可用时,共用 5 秒网络重试时间,未送达数据计入失败指标和日志。

Spill 的临时数据不支持重启恢复,见数据生命周期。

412 与待配置缓存

在 standalone 模式下,对应 token + data_type 的配置未就绪时,Dataway 将数据放入内存缓存并返回 412。客户端只需继续下发 /v1/tail_sampling_config,不要重发已接收的数据;配置就绪后自动进入采样流程。

普通模式最多缓存 100000 个数据包,同时限制为 64 MiB。启用 Spill 时,上限为 max_groups 个数据包和 8 MiB。缓存已满则返回 503,表示本次数据未接收。

尾采样指标集(tail_sampling)

采样业务指标写入中心的 tail_sampling 指标集,由 builtin_metrics 控制;该配置为空时,默认启用对应数据类型的全部内置指标。trace_duration 为时长分布,其余为计数指标。

Tracing

  • trace_total_count
  • trace_kept_count
  • trace_dropped_count
  • trace_error_count
  • span_total_count
  • trace_duration

Logging

  • logging_total_count
  • logging_error_count
  • logging_kept_count
  • logging_dropped_count

RUM

  • rum_total_count
  • rum_kept_count
  • rum_dropped_count

Dataway 自动上报指标(指标集 dataway_aggregate)

Dataway 每分钟使用默认 Token 将运行指标上报到 dataway_aggregate,用于观察尾采样处理、发送和积压情况。指标中的 token 标签固定为 redacted。

Spill 专用指标同时提供于本地 /metrics 和中心 dataway_aggregate,见 Spill 指标。

当前与尾采样相关的指标包括:

指标名 类型 标签 说明
dataway_http_api_body_size_bytes_total Counter api, token 尾采样接口请求体累计字节数
dataway_http_tail_sampling_trace_total Counter token 接收到的 tracing 分组数
dataway_http_tail_sampling_span_total Counter token 接收到的 tracing span 总数
dataway_http_tail_sampling_packet_stage_total Counter token, data_type, stage, result 各阶段分组数(receive/ingest/decision/submit/kodo)
dataway_http_tail_sampling_point_stage_total Counter token, data_type, stage, result 各阶段点数
dataway_http_tail_sampling_rule_packet_total Counter token, data_type, rule_name, rule_index, rule_type, action, result 按命中的采样规则统计的分组数
dataway_http_tail_sampling_rule_point_total Counter 同上 按规则统计的点数
dataway_http_tail_sampling_packet_send_total Counter token, data_type, result 发送结果统计,result 包括 success、failure、drop
dataway_http_tail_sampling_submit_queue_event_total Counter token, data_type, result 提交队列入队结果(memory/wait/overflow/disk/drop/closed)
dataway_http_tail_sampling_submit_queue_depth Gauge - 提交队列当前深度(积压)
dataway_http_tail_sampling_submit_queue_capacity Gauge - 提交队列容量
dataway_http_tail_sampling_submit_worker_total Gauge - 当前 worker 数
dataway_http_tail_sampling_submit_worker_busy Gauge - 当前忙碌 worker 数
dataway_http_tail_sampling_submit_disk_depth Gauge - 磁盘溢出队列深度
dataway_http_tail_sampling_submit_queue_wait_seconds Summary source 提交队列排队等待时长(source 为 memory/wait/overflow/disk)

除性能与 Spill 指标外,Counter 和 Summary 每次上报后重置;性能与 Spill 的累计指标自进程启动累计。所有 Gauge 均保留当前值。缺少 RawGroupId 的 Tracing 数据包可能未计入 Kodo 阶段的 Trace ID 指标,但不影响数据发送。

tail_sampling 记录各 Token 的采样业务统计;dataway_aggregate 记录 Dataway 实例的运行状态。

性能排障指标

以下指标同时提供于本地 /metrics 和中心 dataway_aggregate。中心用 dataway_id(实例 UUID)区分实例,本地采集用 instance;部署时须保证 UUID 唯一。

指标名 类型 标签 说明
dataway_http_tail_sampling_phase_seconds Summary(仅 sum/count) stage,见下表 各阶段累计耗时和执行次数,无分位数
dataway_http_tail_sampling_batch_pending_bytes Gauge 无 发送流程预留的解压后数据字节,含解码、组批、排队和在途发送
dataway_http_tail_sampling_batch_pending_limit_bytes Gauge 无 每个 Standalone 实例的发送字节预算,当前为 64 MiB
dataway_http_tail_sampling_batch_payload_bytes_total Counter encoding=raw\|zstd 批发送压缩前后的累计字节量
stage 计时范围
ingest Standalone 请求的接收、校验和入队,含失败请求,不含代理转发
decision 到期分组检查和采样决策,含空轮询,不含发送任务提交等待
decode 数据解码,含失败,不含等待解码并发额度的时间
compress 批发送的 Zstd 压缩及输出复制
send Kodo 排队、HTTP 发送和失败缓存,不含批发送器的重试退避
budget_wait 等待发送字节预算或分组桶容量的时间
sink 分流时的解码、规则分组与组包,不含后续压缩和发送

阶段耗时包含等待和 I/O,不代表 CPU 时间,也不能相加作为端到端延迟。Counter 和 Summary 按实例计算增量或速率,并处理进程重启;Gauge 查看当前值。

常用 PromQL(平均耗时和压缩比需排除分母为 0 的时段):

# 各阶段平均耗时(秒),保留 instance/stage 等标签
rate(dataway_http_tail_sampling_phase_seconds_sum[5m])
  / rate(dataway_http_tail_sampling_phase_seconds_count[5m])

# 发送驻留字节占预算的比例
dataway_http_tail_sampling_batch_pending_bytes
  / dataway_http_tail_sampling_batch_pending_limit_bytes

# 压缩输出 / 输入字节比例,越小表示压缩效果越好
rate(dataway_http_tail_sampling_batch_payload_bytes_total{encoding="zstd"}[5m])
  / ignoring(encoding) rate(dataway_http_tail_sampling_batch_payload_bytes_total{encoding="raw"}[5m])

排查时优先关注:

  • CPU 升高:结合输入量和阶段耗时定位,必要时使用 pprof。
  • 预算接近上限且 budget_wait、send 增加:检查下游响应和 Kodo 队列。
  • RSS 上升但发送预算稳定:检查其他缓冲、堆和 GC;发送预算不代表总内存。
  • 压缩字节量包含重试和分流开销,不能用于判断丢数。

文档评价

文档内容是否对您有帮助?