コンテンツにスキップ

信頼性検証¶

本ドキュメントでは、完全なデータパスを使用して、セントラルデプロイメントの信頼性を検証します。

Datakit の特定の収集機能を使用して、大量のデータを収集する
Dataway を経由してデータを Kodo にアップロードする
Kodo は既存のフローに従い、データをログストレージに書き込む

環境準備¶

基本的な Linux マシン 1 台に Datakit がインストールされており、logstreaming 収集機能を有効にしていること
テストスクリプトを準備し、Datakit の logstreaming 収集機能にデータをプッシュする
容量無制限のワークスペースを 1 つ有効にし、大量のログデータを受信できるようにする

実施¶

テストデータをダウンロードします。このデータセットには 10,000 件のログが含まれており、1 件あたりのサイズは 1 KB です。

wget https://static.guance.com/testing-data/10000-1kb.log

以下のスクリプトを編集し、上記で準備した Datakit の IP アドレスを入力し、スクリプトを curl-log-streaming.sh として保存します。

#!/bin/bash

# パラメータが指定されているか確認
if [ $# -eq 0 ]; then
    echo "Usage: $0 <number_of_iterations>"
    exit 1
fi

# コマンドライン引数をループ回数として読み取る
num_iterations=$1
file=$2

# 指定された回数だけイテレーションを実行
for ((i=1; i<=num_iterations; i++)); do
        curl -v http://<YOUR-DATAKIT-IP>:9529/v1/write/logstreaming?source=drop-testing --data-binary "@$2"
        sleep 2.5 # 2.5 秒待機
done

上記のスクリプトを実行します。このスクリプトは Datakit に 40,000 回のリクエストをプッシュし、約 28 時間継続します。

bash curl-log-streaming.sh 40000 10000-1kb.log

結果の確認¶

上記の手順を実行後、Datakit の monitor で logstreaming/drop-testing の収集が確認できます。

datakit monitor -MI

以下のコマンドで、Datakit が Dataway に送信するリクエストのレイテンシを確認できます。

datakit monitor -MW

Guanceのログエクスプローラーで、ログソース（source）として drop-testing を選択すると、ステータス分布図の各バー（間隔は 1 分）の高さは約 22 ～ 24 万（60s/2.5s*10000）になります。通常、データは均一に分布し、急増や急減は発生しません（データ書き込みは固定頻度のため）。

この過程で、組み込みビューで「dataway」を検索し、Dataway 自身のメトリクスを確認できます。また、NSQ / GuanceDB / Kodo / Kodo-X などのコンポーネントのエクスプローラーも確認し、デプロイが成功していることを確認する必要があります。