データ取り込み可用性チェック

·

このコレクターは、データ取り込みの可用性と遅延を検出するために使用します。メトリクス、ログ、トレースの探測データを自動生成し、DQL クエリでデータが正常に取り込まれているかを検証し、データ送信からクエリ可能になるまでの遅延時間を測定します。

前提条件¶

• データ送信と DQL クエリのために DataWay を設定する必要があります
• result_workspace を設定した場合は、そのワークスペース URL にアクセスできることを確認してください

設定¶

[[inputs.ingestion_canary]]
  ## 収集間隔、デフォルト 10m
  interval = "10m"

  ## クエリタイムアウト、間隔より短くする必要があります。デフォルト 5m
  query_timeout = "5m"

  ## DQL クエリのポーリング間隔、デフォルト 500ms
  poll_interval = "500ms"

  ## クエリエラーの最大再試行回数、デフォルト 10
  error_retries = 10

  ## メトリクスを報告するための結果ワークスペース URL
  # result_workspace = "https://openway.guance.com?token=xxx"

  ## 収集するデータカテゴリ（metric、logging、tracing）
  ## 指定しない場合は、すべてのカテゴリを収集します
  categories = ["metric", "logging", "tracing"]

  ## ログ設定
  [inputs.ingestion_canary.logging]
    storage_index = "default"

  ## エレクションモードを有効化
  election = true

  ## 追加タグ
  [inputs.ingestion_canary.tags]
  # some_tag = "some_value"
  # more_tag = "some_other_value"

メトリクスの説明¶

このコレクターは 2 種類のデータを生成します。

1. テストデータ: データ取り込みの可用性を検証するための探測データポイント（メトリクス、ログ、トレース）
2. 結果メトリクス: 遅延時間とテスト状態を含む、テスト結果のメトリクスデータ

探測データポイントにはグローバルタグは付与されず、データポイント自身のフィールドとタグ、および設定で指定した tags のみが含まれます。

テストデータ¶

ingestion_canary (メトリクス)¶

Synthetic metric points emitted by the collector per probe round to verify metric ingestion path.

ingestion_canary (ログ)¶

Synthetic logging payload emitted by the canary to verify logging ingestion path.

ingestion_canary (トレース)¶

Synthetic tracing payload emitted by the canary to verify trace collection and forwarding.

結果メトリクス¶

ingestion_canary_result¶

各 ingestion canary プローブラウンドの結果メトリクス。カテゴリ、状態、保存先、遅延を含みます。

コマンドラインツール¶

コレクター・モードに加えて、ワンショットテスト用のコマンドラインツールも提供されています。

# デフォルト設定を使用
datakit tool --ingestion-canary

# ログデータの storage index を指定
datakit tool --ingestion-canary --ingestion-canary-index my_index

パラメータの説明：

• --ingestion-canary: ingestion canary テストツールを有効化します
• --ingestion-canary-index: ログデータの storage index を指定します。デフォルトは "default" です（ログデータのみ有効）

機能の説明：

このツールは 1 ラウンド分の探測データ（メトリクス、ログ、トレース）を生成して DataWay に送信し、データが見つかるまで、またはユーザーが中断するまで継続的にクエリを実行し、各データ種別の遅延時間を出力します。ツールは継続して動作し、各テストラウンドの間隔は 10 秒です。