Dataway 尾采样¶
功能介绍¶
Dataway 对 tracing、logging 和 rum 数据按组执行尾采样:先接收数据,到期后按规则决定保留或丢弃,再将保留的数据发送到中心。
Dataway 1.22.2 开始支持 Spill 临时落盘,在内存预算不足时将待决策分组转存磁盘。配置示例见 ACK + ESSD 部署。
普通模式批量发送时使用 Zstd 压缩,下游 KodoX Point Worker 需支持 Content-Encoding: zstd。内存预算仅约束对应缓冲,不是进程总内存上限。
工作模式¶
尾采样与聚合共用 aggregator_mode 配置。
Standalone¶
当前节点接收数据,根据 token + data_type 查找采样规则,处理到期分组并发送保留的数据。
Proxy¶
当前节点将数据转发到后端节点,并将 /v1/tail_sampling_config 配置广播到所有后端。需要配置 aggregator_endpoint,客户端需携带有效的 Guance-Pick-Key,确保同一分组到达同一后端。
Kubernetes 后端建议使用 StatefulSet,并在 aggregator_endpoint 中填写稳定的 Pod DNS 地址。
本地配置¶
尾采样与聚合共用以下模式配置:
环境变量:
后端地址仅在 proxy 模式下使用。
尾采样临时落盘¶
Spill 默认关闭,仅在 standalone 节点上生效。启用方式、完整配置和存储部署见 Spill 使用指南。
- 每个实例使用独立、可写的数据盘目录。
- 进程退出或重启会清理临时数据,即使使用持久化卷也不会恢复。
- 保留数据沿用 Sinker 分流规则;下游临时故障由 Spill 重试,成功目标不重复发送。
采样配置下发¶
尾采样规则通过接口下发,而不是写在 dataway.yaml 中:
请求体为 JSON,按数据类型使用 trace、logging 或 rum 字段,完整示例见下文。derived_metrics 不受支持,配置后会返回错误。
Tracing 配置示例¶
{
"version": 1,
"trace": {
"version": 1,
"data_ttl": "5m",
"group_key": "trace_id",
"pipelines": [
{
"name": "keep-all",
"type": "probabilistic",
"rate": 1
}
],
"builtin_metrics": [
{
"name": "trace_total_count",
"enabled": true
}
]
}
}
说明:
trace.group_key当前只能是trace_idtrace.data_ttl为空时默认5mpipelines支持condition和probabilisticcondition使用action=keep/dropprobabilistic使用rate=0~1
Logging 配置示例¶
Logging 和 RUM 使用 group_dimensions 设置分组维度,data_ttl 为空时默认 1m。
{
"version": 1,
"logging": {
"version": 1,
"data_ttl": "1m",
"group_dimensions": [
{
"group_key": "service",
"pipelines": [
{
"name": "keep-all",
"type": "probabilistic",
"rate": 1
}
]
}
]
}
}
RUM 配置示例¶
{
"version": 1,
"rum": {
"version": 1,
"data_ttl": "1m",
"group_dimensions": [
{
"group_key": "session_id",
"pipelines": [
{
"name": "keep-all",
"type": "probabilistic",
"rate": 1
}
]
}
]
}
}
数据上报接口¶
DataKit Aggregator 自动通过 HTTP POST 上报尾采样数据包,无需手工构造。下表用于核对客户端版本与协议兼容性;压缩 Header 指 Guance-Tail-Sampling-Payload-Compression。
| 客户端场景 | 请求路径 | 压缩 Header | PayloadCompression |
Payload |
|---|---|---|---|---|
| Datakit 2.10 以前版本 | /v1/tail_sampling |
无 | 0 |
Raw PBPoints |
| Datakit 2.10 兼容路径 | /v1/tail_sampling |
无 | 1 |
Zstd PBPoints |
| Datakit 2.11 及以上默认路径 | /v2/tail_sampling |
zstd |
1 |
Zstd PBPoints |
| Datakit 2.11 及以上降级路径 | /v1/tail_sampling |
无 | 0 |
Raw PBPoints |
历史路径 /v1/tail_sampling_v2 仅接受无压缩 Header 的 Raw 数据,PayloadCompression 必须为 0。
常见响应状态码:
| 状态码 | 含义 |
|---|---|
200 |
数据已接收,不代表已送达下游 |
400 |
数据格式或字段无效 |
412 |
采样配置未就绪,数据已暂存;补发配置,不要重发数据 |
413 |
请求或分组超限;缩小数据后重试 |
415 |
压缩方法、路径、Header 或压缩字段不匹配 |
503 |
容量不足、读取超时或落盘失败,本次数据未接收;退避重试 |
Spill 的容量限制和故障处理见响应与故障处理。
压缩协议与滚动升级¶
Datakit 2.11 及以上默认使用 /v2/tail_sampling。收到 404 或 415 后,会改用未压缩数据请求 /v1/tail_sampling,并缓存该节点的旧协议能力 10 分钟,因此可与支持上述协议的 Dataway 混合滚动升级。
Datakit 2.10 需要使用支持无协商 Header 的 Zstd 数据包的 Dataway;更早版本继续使用未压缩的 V1 协议。
保留数据发送与退出恢复¶
未启用 Spill 时,保留数据通过发送队列写入下游:
- 发送失败最多退避重试 3 次,耗尽后计入
failure/drop。 - 内存队列满时转存磁盘,重启后继续发送。
- 退出时优先将待发送数据写入磁盘;磁盘不可用时,共用 5 秒网络重试时间,未送达数据计入失败指标和日志。
Spill 的临时数据不支持重启恢复,见数据生命周期。
412 与待配置缓存¶
在 standalone 模式下,对应 token + data_type 的配置未就绪时,Dataway 将数据放入内存缓存并返回 412。客户端只需继续下发 /v1/tail_sampling_config,不要重发已接收的数据;配置就绪后自动进入采样流程。
普通模式最多缓存 100000 个数据包,同时限制为 64 MiB。启用 Spill 时,上限为 max_groups 个数据包和 8 MiB。缓存已满则返回 503,表示本次数据未接收。
尾采样指标集(tail_sampling)¶
采样业务指标写入中心的 tail_sampling 指标集,由 builtin_metrics 控制;该配置为空时,默认启用对应数据类型的全部内置指标。trace_duration 为时长分布,其余为计数指标。
Tracing¶
trace_total_counttrace_kept_counttrace_dropped_counttrace_error_countspan_total_counttrace_duration
Logging¶
logging_total_countlogging_error_countlogging_kept_countlogging_dropped_count
RUM¶
rum_total_countrum_kept_countrum_dropped_count
Dataway 自动上报指标(指标集 dataway_aggregate)¶
Dataway 每分钟使用默认 Token 将运行指标上报到 dataway_aggregate,用于观察尾采样处理、发送和积压情况。指标中的 token 标签固定为 redacted。
Spill 专用指标同时提供于本地 /metrics 和中心 dataway_aggregate,见 Spill 指标。
当前与尾采样相关的指标包括:
| 指标名 | 类型 | 标签 | 说明 |
|---|---|---|---|
dataway_http_api_body_size_bytes_total |
Counter | api, token |
尾采样接口请求体累计字节数 |
dataway_http_tail_sampling_trace_total |
Counter | token |
接收到的 tracing 分组数 |
dataway_http_tail_sampling_span_total |
Counter | token |
接收到的 tracing span 总数 |
dataway_http_tail_sampling_packet_stage_total |
Counter | token, data_type, stage, result |
各阶段分组数(receive/ingest/decision/submit/kodo) |
dataway_http_tail_sampling_point_stage_total |
Counter | token, data_type, stage, result |
各阶段点数 |
dataway_http_tail_sampling_rule_packet_total |
Counter | token, data_type, rule_name, rule_index, rule_type, action, result |
按命中的采样规则统计的分组数 |
dataway_http_tail_sampling_rule_point_total |
Counter | 同上 | 按规则统计的点数 |
dataway_http_tail_sampling_packet_send_total |
Counter | token, data_type, result |
发送结果统计,result 包括 success、failure、drop |
dataway_http_tail_sampling_submit_queue_event_total |
Counter | token, data_type, result |
提交队列入队结果(memory/wait/overflow/disk/drop/closed) |
dataway_http_tail_sampling_submit_queue_depth |
Gauge | - | 提交队列当前深度(积压) |
dataway_http_tail_sampling_submit_queue_capacity |
Gauge | - | 提交队列容量 |
dataway_http_tail_sampling_submit_worker_total |
Gauge | - | 当前 worker 数 |
dataway_http_tail_sampling_submit_worker_busy |
Gauge | - | 当前忙碌 worker 数 |
dataway_http_tail_sampling_submit_disk_depth |
Gauge | - | 磁盘溢出队列深度 |
dataway_http_tail_sampling_submit_queue_wait_seconds |
Summary | source |
提交队列排队等待时长(source 为 memory/wait/overflow/disk) |
除性能与 Spill 指标外,Counter 和 Summary 每次上报后重置;性能与 Spill 的累计指标自进程启动累计。所有 Gauge 均保留当前值。缺少 RawGroupId 的 Tracing 数据包可能未计入 Kodo 阶段的 Trace ID 指标,但不影响数据发送。
tail_sampling 记录各 Token 的采样业务统计;dataway_aggregate 记录 Dataway 实例的运行状态。
性能排障指标¶
以下指标同时提供于本地 /metrics 和中心 dataway_aggregate。中心用 dataway_id(实例 UUID)区分实例,本地采集用 instance;部署时须保证 UUID 唯一。
| 指标名 | 类型 | 标签 | 说明 |
|---|---|---|---|
dataway_http_tail_sampling_phase_seconds |
Summary(仅 sum/count) | stage,见下表 |
各阶段累计耗时和执行次数,无分位数 |
dataway_http_tail_sampling_batch_pending_bytes |
Gauge | 无 | 发送流程预留的解压后数据字节,含解码、组批、排队和在途发送 |
dataway_http_tail_sampling_batch_pending_limit_bytes |
Gauge | 无 | 每个 Standalone 实例的发送字节预算,当前为 64 MiB |
dataway_http_tail_sampling_batch_payload_bytes_total |
Counter | encoding=raw\|zstd |
批发送压缩前后的累计字节量 |
stage |
计时范围 |
|---|---|
ingest |
Standalone 请求的接收、校验和入队,含失败请求,不含代理转发 |
decision |
到期分组检查和采样决策,含空轮询,不含发送任务提交等待 |
decode |
数据解码,含失败,不含等待解码并发额度的时间 |
compress |
批发送的 Zstd 压缩及输出复制 |
send |
Kodo 排队、HTTP 发送和失败缓存,不含批发送器的重试退避 |
budget_wait |
等待发送字节预算或分组桶容量的时间 |
sink |
分流时的解码、规则分组与组包,不含后续压缩和发送 |
阶段耗时包含等待和 I/O,不代表 CPU 时间,也不能相加作为端到端延迟。Counter 和 Summary 按实例计算增量或速率,并处理进程重启;Gauge 查看当前值。
常用 PromQL(平均耗时和压缩比需排除分母为 0 的时段):
# 各阶段平均耗时(秒),保留 instance/stage 等标签
rate(dataway_http_tail_sampling_phase_seconds_sum[5m])
/ rate(dataway_http_tail_sampling_phase_seconds_count[5m])
# 发送驻留字节占预算的比例
dataway_http_tail_sampling_batch_pending_bytes
/ dataway_http_tail_sampling_batch_pending_limit_bytes
# 压缩输出 / 输入字节比例,越小表示压缩效果越好
rate(dataway_http_tail_sampling_batch_payload_bytes_total{encoding="zstd"}[5m])
/ ignoring(encoding) rate(dataway_http_tail_sampling_batch_payload_bytes_total{encoding="raw"}[5m])
排查时优先关注:
- CPU 升高:结合输入量和阶段耗时定位,必要时使用
pprof。 - 预算接近上限且
budget_wait、send增加:检查下游响应和 Kodo 队列。 - RSS 上升但发送预算稳定:检查其他缓冲、堆和 GC;发送预算不代表总内存。
- 压缩字节量包含重试和分流开销,不能用于判断丢数。