Guanceデータサンプリング機能テクニカルガイド:データ量とクエリ効率の最適化¶
機能の処理ロジック¶
Guance のデータサンプリング機能は、データ処理のライフサイクル全体にわたって適用されます:
-
収集段階のサンプリング:データのアップロード前にフィルタリングを行い、データ取り込み量とストレージコストを削減します。
-
クエリ段階のサンプリング:大規模なクエリ結果に対してインテリジェントなダウンサンプリングを実行し、チャートのレンダリングとデータ分析の速度を向上させます。
基本原則¶
2 つの段階のサンプリングは相互に独立かつ補完的です。収集段階のサンプリングは、どのデータを永続的に保存するかを決定し、ストレージコストに直接影響します。クエリ段階のサンプリングはデータの表示方法にのみ影響し、元のデータは完全に保持されます。重要なデータの完全性を確保した上で、サンプリング戦略によってリソース消費を最適化します。
データ収集段階のサンプリング設定¶
ここでは代表的な 3 つのシナリオを紹介します。
1. リアルユーザーモニタリング(RUM)のサンプリング¶
-
設定場所:Guanceコンソール > RUM > アプリの作成/編集 > SDK 設定
-
サンプリングロジック:
-
sampleRateパラメータ(例:sampleRate: 90)を設定することで、データのアップロード割合を制御します。 -
SDK 初期化時に乱数(0〜100)を生成し、乱数がサンプリングレートより小さい場合にデータをアップロードします。
-
-
ユースケース:ユーザー行動データのストレージコストを削減する必要がある Web/Android/iOS/ミニアプリ。
2. アプリケーションパフォーマンスモニタリング(APM)のサンプリング¶
-
対応方法:
-
コード計装によってサンプリングレートを設定します(OpenTelemetry など)。
-
DataKit コレクターでトレースデータのサンプリングルールを設定します。
-
-
サンプリング戦略:
-
全量収集:エラーリクエスト、遅いリクエスト。
-
ダウンサンプリング:正常なリクエスト(サンプリングレートは 1%〜10% に設定可能)。
-
3. ログデータのサンプリング¶
-
設定機能:
-
Pipeline の
drop()関数を使用して冗長なログを破棄するか、sample()関数で割合に応じてサンプリングします。 -
ブラックリストを設定して、低価値のログをフィルタリングできます。
-
-
代表的なシナリオ:デバッグログには低いサンプリングレートを適用し、エラーログは全量収集します。
クエリ段階のサンプリング機能¶
Guance はクエリ段階でインテリジェントなサンプリングの仕組みを提供し、クエリデータ量が事前設定されたしきい値に達すると自動的にトリガーされ、大規模なデータクエリの応答性能を確保します。
システムが設定する主要なサンプリングしきい値は以下のとおりです:
-
ダッシュボードクエリ:2 億データポイント
-
エクスプローラークエリ:1 億データポイント
-
Facet クエリ:500 万データポイント
-
その他の汎用クエリ:2 億データポイント
サンプリング戦略選択ガイド¶
| シナリオ | サンプリングタイプ | 推奨設定 | 注意点 |
|---|---|---|---|
| ユーザー行動分析 | RUM 収集サンプリング | 業務上の重要度に応じてサンプリングレートを設定 | エラー操作とクリティカルパスを全量収集する必要があります |
| アプリケーションパフォーマンス調査 | APM トレースサンプリング | エラー/遅いリクエストは全量収集、正常なリクエストはサンプリングレート 1%〜10% | TraceID によりトレースの完全性を保証 |
| ログの長期保存 | ログ Pipeline サンプリング | 高頻度ログのサンプリングレート ≤5%、エラーログは全量収集 | 機密データのマスキングルールと併用 |
| ダッシュボードのマクロトレンド | クエリサンプリング | サンプリングを有効化し、時間範囲 > 24 時間 | 具体的な問題を調査する場合はサンプリングを無効化し、時間範囲を絞り込みます |
| リアルタイムアラート | サンプリングなし | 生データに基づいて計算 | サンプリングによる誤検知/検知漏れを回避 |
重要な注意事項¶
-
データの一貫性:サンプリングによって極端な値が薄まる可能性があるため、重要な意思決定は全量データで検証する必要があります。
-
コストとパフォーマンスのバランス:収集サンプリングはストレージコストを削減し、クエリサンプリングは応答速度を向上させます。
-
動的なチューニング:サンプリング後のデータの統計的分布を定期的に確認し、ビジネスの変化に合わせて戦略を調整します。
まとめ¶
Guance のサンプリング機能は、多層的でカスタマイズ可能な、コストとパフォーマンスを最適化するツールです:
-
収集側のサンプリングはデータの流入を直接削減し、RUM、APM、ログなどの高頻度データに適しています。
-
クエリ側のサンプリングは、大規模なデータ操作のスムーズさを確保し、ダッシュボードと履歴分析に適しています。
ビジネス上の優先度(例:エラーは全量収集、正常データはダウンサンプリング)とクエリのニーズ(マクロトレンドでは有効化、精密な調査では無効化)を組み合わせることで、リソース効率とデータの信頼性の最適なバランスを実現できます。