数据聚合与尾采样¶
在数据进入平台前进行聚合和尾采样,可以按业务需要生成汇总指标,并减少需要保存的原始数据。
- 数据聚合:按时间窗口和维度计算计数、求和、平均值等指标。聚合与原始数据是否保留是两个独立的配置问题。
- 尾采样:先汇集同一组数据,再根据已到达的数据决定保留或丢弃。链路场景通常按
trace_id分组,可优先保留错误链路,对普通链路按比例采样。
SDK 头部采样、采集器过滤或 Pipeline 已经丢弃的数据无法通过尾采样恢复。需要基于完整链路判断时,应先保证相关 Span 能到达处理节点。
选择处理方式¶
| 对比项 | Dataway 方式 | EdgeFlow 方式 |
|---|---|---|
| 处理组件 | Dataway 的聚合和尾采样能力 | 独立部署在 DataKit 与 Dataway 之间的 EdgeFlow |
| DataKit 接入 | 配置 Aggregator,发送聚合包或尾采样数据包 | 配置 Aggregator,将链路数据发送到 EdgeFlow |
| 规则配置 | DataKit Aggregator 配置及 Dataway 配置 | DataKit 配置数据发送;实际采样规则在 EdgeFlow 本地 DSL 文件中维护并应用 |
| 本板块覆盖范围 | 指标聚合、尾采样、Spill 临时落盘 | 链路尾采样、主机与 Docker 部署、本地规则管理 |
| 适用场景 | 已使用 Dataway,希望在现有链路增加处理能力 | 希望独立部署和管理链路采样节点 |
两种方式分别按各自文档配置。Dataway 的 aggregator_mode 和 EdgeFlow 的全代理、单采样接入方式含义不同;两种方式的规则格式也不能直接互换。
Dataway 方式¶
- 查看 Dataway 安装使用,准备处理节点。
- 参考 DataKit Aggregator,配置采集端的数据发送和规则。
- 根据需要启用指标聚合或尾采样。
- 需要将待决策数据临时转存磁盘时,参见尾采样 Spill。
EdgeFlow 方式¶
参见 EdgeFlow 尾采样,按“选择接入方式 → 安装 → 应用本地 DSL 规则 → 配置 DataKit → 验证结果”的顺序操作。
采样后的链路数量不能直接代表真实请求量。错误保留和定向丢弃会改变样本分布;请求量、错误率和延迟分布应优先使用采样前的独立指标,并明确统计口径。