コンテンツにスキップ

データ集約とテールサンプリング

データがプラットフォームに取り込まれる前に集約とテールサンプリングを行うことで、ビジネス要件に応じた集計メトリクスを生成し、保存する必要のある生データを削減できます。

  • データ集約:時間ウィンドウとディメンションごとにカウント、合計、平均などのメトリクスを計算します。集約と生データを保持するかどうかは、独立した 2 つの設定項目です。
  • テールサンプリング:同一グループのデータをいったん収集してから、到着済みのデータに基づいて保持または破棄を決定します。トレースのシナリオでは通常 trace_id ごとにグループ化し、エラーのトレースを優先的に保持し、通常のトレースは割合に応じてサンプリングできます。

SDK のヘッドサンプリング、コレクターでのフィルタリング、または Pipeline によってすでに破棄されたデータは、テールサンプリングで復元できません。完全なトレースに基づいて判断する必要がある場合は、関連する Span が処理ノードに到達できるようにする必要があります。

処理方式の選択

比較項目 Dataway 方式 EdgeFlow 方式
処理コンポーネント Dataway の集約およびテールサンプリング機能 DataKit と Dataway の間に独立してデプロイされる EdgeFlow
DataKit の接続 Aggregator を設定し、集約パケットまたはテールサンプリングデータパケットを送信 Aggregator を設定し、トレースデータを EdgeFlow に送信
ルール設定 DataKit Aggregator の設定および Dataway の設定 DataKit でデータ送信を設定;実際のサンプリングルールは EdgeFlow のローカル DSL ファイルで管理および適用
本セクションの対象範囲 メトリクス集約、テールサンプリング、Spill 一時退避 トレースのテールサンプリング、ホストおよび Docker へのデプロイ、ローカルルール管理
ユースケース Dataway をすでに使用しており、既存のトレースに処理機能を追加したい トレースのサンプリングノードを独立してデプロイおよび管理したい

2 つの方式はそれぞれのドキュメントに従って設定します。Dataway の aggregator_mode と EdgeFlow のフルプロキシ方式および単一サンプリング接続方式では意味が異なります。また、2 つの方式のルール形式をそのまま相互に置き換えることはできません。

Dataway 方式

  1. Dataway のインストールと使用方法を確認し、処理ノードを準備します。
  2. DataKit Aggregatorを参照し、収集側のデータ送信とルールを設定します。
  3. 必要に応じてメトリクス集約またはテールサンプリングを有効にします。
  4. 判定待ちのデータを一時的にディスクへ退避する必要がある場合は、テールサンプリング Spillを参照してください。

EdgeFlow 方式

EdgeFlow テールサンプリングを参照し、「接続方式の選択 → インストール → ローカル DSL ルールの適用 → DataKit の設定 → 結果の検証」の順に操作します。

サンプリング後のトレース数は、実際のリクエスト数を直接表すものではありません。エラーの保持や特定条件での破棄はサンプル分布を変えるため、リクエスト数、エラー率、レイテンシ分布には、サンプリング前の独立したメトリクスを優先して使用し、集計基準を明確にしてください。

フィードバック

このページは役に立ちましたか?