転送ルールの作成¶
前提条件¶
商用プランのみ利用可能です。
作成手順¶
データ転送 > 転送ルール > ルールを作成 ページにアクセスします。
データ転送ルールの作成が完了すると、システムは 5分ごと にルールの検証を実行します。
ステップ 1：ルール名の入力¶
現在のデータ転送ルールの名前を入力します。最大 64 文字まで可能です。ルール名は、ルール一覧、検索、削除確認、監査記録においてこのルールを識別するために使用されます。
ステップ 2：転送ルールの定義¶
1. データソース
ログ、APM、RUM、LLM、Agent、イベント、監査イベントが含まれます。
2. フィルター条件
条件間の演算ロジックをカスタマイズできます。複数の条件を追加可能です。
- すべての条件：すべてのフィルター条件を満たすログデータのみがデータ転送に保存されます。
- いずれかの条件：いずれかのフィルター条件を満たせば、データ転送に保存されます。
条件演算子は下表参照：
| 条件演算子 | マッチタイプ |
|---|---|
| in、not in | 完全一致、複数値対応（カンマ区切り） |
ここでフィルター条件を追加しない場合、すべてのデータを保存することを意味します。
Pipeline による転送データの処理
センター Pipeline スクリプトは、転送条件のフィルタリングと最終コンテンツに影響します。
スクリプト作成時、「Pipeline で転送データを処理する」にチェックを入れることができます。チェックを入れると、データはスクリプトで処理されてからフィルタリングされ転送されます。チェックを入れない場合は、生データがそのまま転送されます。
3. 詳細設定
データソースにログを選択した場合、さらに以下の設定が可能です。
-
拡張フィールドを含める：デフォルトでは、条件に一致したログの
messageフィールドのみが転送されます。「拡張フィールドを含める」にチェックを入れると、条件に一致したログデータ全体が転送されます。- 複数のデータ転送ルールを作成する場合、拡張フィールドを含めるようにチェックが入ったルールが優先的にマッチされます。異なるルールが同じデータにヒットした場合、拡張フィールドを含めるロジックに従ってログデータ全体が表示されます。
-
インデックスの限定：プルダウンからネイティブ直接書き込みインデックスを選択します。有効にすると、選択したインデックスのログデータのみが転送されます。（❗️インデックスを限定すると、このデータ転送ルールのパフォーマンス消費が大幅に低下します）
ステップ 3：転送先の選択¶
より包括的なデータ転送方法を提供するため、システムは以下の転送先をタイプ別に提供します。
| タイプ | 転送先 |
|---|---|
| 内蔵ストレージ | Guance：マッチしたログデータは、Guance側の OSS、S3、OBS オブジェクトストレージに保存されます |
| オブジェクトストレージ | AWS S3、Huawei Cloud OBS、Alibaba Cloud OSS、Volcengine TOS、Google Cloud GCS |
| 分析プラットフォーム | Apache Doris、TiDB Cloud Lake |
| メッセージキュー | Kafka |
注意
-
Google Cloud GCS は、香港およびグローバルサイトでのみサポートされています。
-
データ転送の保存先として Guance を選択した場合、ログデータの最低保存期間はデフォルトで 180 日となり、ルール作成後はキャンセルできません。保存期間中は毎日費用が発生します。変更するには、管理 > ワークスペース設定 > データ保存ポリシーの変更 にアクセスしてください。
ストレージ形式¶
データの保存形式を選択します。
- JSON：テキスト形式（❗️データ転送先が Guance の場合、JSON ストレージ形式のみ選択可能です）
- Parquet：列指向ストレージ形式
| 特性 | JSON | Parquet |
|---|---|---|
| 機能の位置づけ | 即時消費・統合のための標準形式 | 低コストアーカイブ・オフライン分析向け最適化形式 |
| データ状態 | 参照可能なホットデータ。転送後のデータは Guance プラットフォーム内（ログエクスプローラーなど）で通常通り保存・表示され、両端で一貫して可視化されます。 | 外部処理向けコールドデータ。データ転送後も元のログは Guance プラットフォーム内で通常通り保存・表示されますが、Parquet 形式で転送されたコピーは、フォーマットの制約により、その内容を Guance インターフェース上で再読み込みしたり参照したりすることはできません。 |
| 主なユースケース | Guance 内のデータの可観測性を維持しつつ、外部システム（SIEM、自社ログ基盤など）がリアルタイムで消費可能な、直接解析可能なコピーを提供します。 | 条件に一致するデータに対して、外部のビッグデータシステムが効率的にバッチ分析できる、ストレージコストに優れた専用コピーを生成します。 |
| ビジネス利用 | 下流の業務システムは、API、オブジェクトストレージファイル、メッセージキューを介して、Guance インターフェースと完全に同一の可読ログを準リアルタイムで取得できます。用途例： |
下流のビッグデータシステムは、定期的（毎時/毎日など）にオブジェクトストレージ内の Parquet ファイルをバッチ読み取りできます。用途例： |
| 主な影響 | データの二重書き込み、両端で可視化。追加のストレージコストが発生しますが、Guance 内外のエコシステムにおけるデータの一貫性と即時利用可能性が確保されます。 | フォーマット専用、参照制限あり。生成された Parquet コピーは外部分析向けに最適化されており、戻して参照することはできません。そのため、このコピー自体を Guance 内で参照することはできません。ただし、Guance 内の元のログの可観測性には影響しません。 |
暗号化ストレージ¶
暗号化ストレージを有効にすると、システムは転送されたデータに対して対称暗号化を実行します。後でこれらのデータを照会・表示する必要がある場合、システムは暗号化されたデータを元の内容に復元して表示できます。
対称暗号化とは？
対称暗号化は、暗号化と復号に同じ鍵を使用する暗号化方式です。これは、1つの鍵で施錠も解錠もできる鍵のようなものです。
ステップ 4：データ表示権限の定義¶
転送されたデータの表示権限を設定することで、データのセキュリティを向上させます。
- 制限なし：ワークスペースの全メンバーが転送データを表示できます。
- カスタム：転送データを表示できるメンバーのロールを指定します。