跳转至

数据聚合与尾采样

在数据进入平台前进行聚合和尾采样,可以按业务需要生成汇总指标,并减少需要保存的原始数据。

  • 数据聚合:按时间窗口和维度计算计数、求和、平均值等指标。聚合与原始数据是否保留是两个独立的配置问题。
  • 尾采样:先汇集同一组数据,再根据已到达的数据决定保留或丢弃。链路场景通常按 trace_id 分组,可优先保留错误链路,对普通链路按比例采样。

SDK 头部采样、采集器过滤或 Pipeline 已经丢弃的数据无法通过尾采样恢复。需要基于完整链路判断时,应先保证相关 Span 能到达处理节点。

选择处理方式

对比项 Dataway 方式 EdgeFlow 方式
处理组件 Dataway 的聚合和尾采样能力 独立部署在 DataKit 与 Dataway 之间的 EdgeFlow
DataKit 接入 配置 Aggregator,发送聚合包或尾采样数据包 配置 Aggregator,将链路数据发送到 EdgeFlow
规则配置 DataKit Aggregator 配置及 Dataway 配置 DataKit 配置数据发送;实际采样规则在 EdgeFlow 本地 DSL 文件中维护并应用
本板块覆盖范围 指标聚合、尾采样、Spill 临时落盘 链路尾采样、主机与 Docker 部署、本地规则管理
适用场景 已使用 Dataway,希望在现有链路增加处理能力 希望独立部署和管理链路采样节点

两种方式分别按各自文档配置。Dataway 的 aggregator_mode 和 EdgeFlow 的全代理、单采样接入方式含义不同;两种方式的规则格式也不能直接互换。

Dataway 方式

  1. 查看 Dataway 安装使用,准备处理节点。
  2. 参考 DataKit Aggregator,配置采集端的数据发送和规则。
  3. 根据需要启用指标聚合或尾采样。
  4. 需要将待决策数据临时转存磁盘时,参见尾采样 Spill。

EdgeFlow 方式

参见 EdgeFlow 尾采样,按“选择接入方式 → 安装 → 应用本地 DSL 规则 → 配置 DataKit → 验证结果”的顺序操作。

采样后的链路数量不能直接代表真实请求量。错误保留和定向丢弃会改变样本分布;请求量、错误率和延迟分布应优先使用采样前的独立指标,并明确统计口径。

文档评价

文档内容是否对您有帮助?