ブラックリスト¶
ブラックリストを設定すると、条件に一致するさまざまなタイプのデータをフィルタリングできます。ブラックリストを構成すると、条件に一致するデータはGuanceワークスペースに報告されなくなり、データストレージコストを節約できます。
前提条件¶
-
DataKit をインストールします。
-
ログ以外のデータを構成する場合、DataKit のバージョンは 1.4.7 以降である必要があります。
-
datakit.confファイルで Filter が構成されている場合、ここで構成したブラックリストは無効になります。
ブラックリストの作成¶
-
管理 > ブラックリスト > ブラックリストを作成 をクリックします。
-
現在のブラックリストルールの名前と説明を定義します。
-
データソースタイプ を選択します。
-
必要に応じて、1 つまたは複数のフィルタールール を追加します。
-
確定すると、データブラックリストフィルタールールが有効になります。
注意
-
ログデータのみにブラックリストを作成する場合は、ログ > ブラックリスト に直接移動して構成できます。
-
データ型は、文字列、整数、浮動小数点の 3 タイプをサポートします。
-
データソースがログの場合、機能メニューの ログ > ブラックリスト にもログフィルタールールが同期作成されます。その逆も同様です。
データソース¶
ブラックリスト名はデータソースに基づいて自動生成されます。対象は、ログ、基本オブジェクト、リソースカタログ、ネットワーク、APM、RUM、イベント、メトリクス、Profile です。
フィールド名、フィールド値などを入力した後、DataKit を介してデータソースとフィールドを構成してデータを報告すると、ルールが有効になります。
| データ型 | データソース(カスタムプリセット対応) |
|---|---|
| ログ | ログソース(source)、例:nginx など |
| 基本オブジェクト | カテゴリ(class)、例:HOST など |
| リソースカタログ | カテゴリ(class)、例:MySQL など |
| ネットワーク | ソース(source)、例:netflow、httpflow |
| APM | サービス(service)、例:redis など。「すべてのサービス」を選択可能 |
| RUM | アプリケーション(app_id) |
| イベント | ソース(source)、例:monitor など |
| メトリクス | メジャーメント、例:cpu など |
| Profile | サービス(service) |
フィルタールール¶
| 構成項目 | 説明 |
|---|---|
| 条件関係 | |
| フィールド名 | エクスプローラーの「表示列」に表示されるフィールド名。大文字小文字を区別し、完全一致が必要 |
| フィールド値 | 単一値、複数値(カンマ区切り)、正規表現をサポート |
| 演算子 | in(完全一致、含む)not in(完全一致、含まない)match(正規一致)not match(正規不一致) |
フィールド値の形式説明¶
| タイプ | 入力形式 | 例 |
|---|---|---|
| 単一値 | 直接入力 | error |
| 複数値 | カンマ区切り、スペースなし | ok,info,debug |
| 正規表現 | 正規表現を直接入力 | ^test-.* |
演算子説明¶
1. 正規表現構文
Go 標準の正規表現構文(RE2)を使用します。
よく使う例:
-
^prod-:prod-で始まる文字列に一致 -
.*\.test\.:.test.を含む文字列に一致
2. 完全一致の説明
in / not in は完全一致で、大文字小文字を区別します。例: status in error は error のみに一致し、ERROR や error_msg には一致しません。
ルール例¶
次の例では:
- ブラックリスト名を「ネットワークデバイス」と定義します。
- 説明は追加しません。
- 基本オブジェクトデータをフィルタリングし、SNMP で収集したオブジェクトデータのみをフィルタリングするよう選択します。
- 条件関係を「すべて」に設定し、ルールを 1 つ定義します。デバイス名が
switch-s5700の SNMP ネットワークデバイスデータはGuanceに報告されません。- フィールド名:
device_hostname - 演算子:
in(含む) - フィールド値:
switch-s5700
- フィールド名:
- 確定します。
上記の例は、ブラックリストの標準的な使用例です。
ユーザーは SNMP でネットワークデバイスデータを収集していますが、特定のデバイス(switch-s5700)を監視したくないため、ブラックリストでそのデバイスのデータをフィルタリングし、ストレージコストを節約します。
ブラックリストの有効化を確認¶
- 有効になるまで待機:構成後、少なくとも 10 秒待ちます(DataKit は 10 秒ごとに構成を取得します)。
- データを比較:エクスプローラーで構成前後の同じ時間帯を選択し、データ件数が減少しているか確認します。
- 構成の配信を確認:DataKit ホストで
/usr/local/datakit/data/.pullファイルを確認し、ブラックリスト構成が保存されていることを確認します。
リスト操作¶
次の操作でブラックリストリストを管理できます。
- データタイプごとにフィルタリング
- 検索バーにブラックリスト名を入力して検索
- ブラックリストの有効化/無効化
- 作成済みのデータフィルタールールを編集
- 既存のフィルタールールを削除。削除後、データは通常通りワークスペースに報告されます。
- をクリックして、ブラックリストを一括エクスポート、一括削除。
- JSON ファイルをインポートしてブラックリストを作成可能。ただし、Guanceが提供する構成ファイルである必要があります。
注意事項¶
-
DataKit のインストール構成時に
datakit.confファイルでブラックリストフィルターを構成した場合、Guanceで構成したブラックリストルールは無効になります。 -
DataKit は 10 秒ごとにデータを取得するため、ブラックリスト構成後すぐには有効にならず、少なくとも 10 秒待つ必要があります。
-
ブラックリスト構成後、統一して DataKit のディレクトリ
/usr/local/datakit/data配下の.pullファイルに保存されます。 -
ブラックリストフィルタリングは DataKit 側で実行され、フィルタリングされたデータはGuanceに転送されず、復元できません。
