転送ルールの作成¶
前提条件¶
商用プラン限定です。
作成¶
データ転送 > 転送ルール > ルールを作成ページに移動します。
データ転送ルールの作成後、システムは5分ごとにルール検証を実行します。
ステップ1:ルール名を入力¶
対象のデータ転送ルールの名前を入力します。最大64文字までサポートします。ルール名は、ルール一覧、検索、削除確認、および監査記録で該当ルールを識別するために使用されます。
ステップ2:転送ルールを定義¶
1. データソース
ログ、メトリクス、アプリケーションパフォーマンス、ユーザーアクセス、LLM、Agent、イベント、監査イベントが含まれます。
メトリクスを選択すると、フィルター条件で転送するメトリクスデータを絞り込み、後続の手順で転送先とデータ閲覧権限を設定できます。転送内容にはタイムスタンプ、メトリクス値、および関連タグが保持され、具体的な出力形式は転送先の受信プロトコルに従います。
2. フィルター条件
条件間の演算ロジックをカスタマイズできます。複数の条件を追加できます。
-
すべての条件:すべてのフィルター条件を満たすデータのみが転送されます。
-
いずれかの条件:いずれか1つのフィルター条件を満たせば転送されます。
条件演算子は以下の表を参照してください:
| 条件演算子 | マッチタイプ |
|---|---|
| in、not in | 完全一致、複数値に対応(カンマ区切り) |
ここでフィルター条件を追加しない場合、選択したデータソースのすべてのデータを転送することを意味します。
Pipeline による転送データの処理
中央 Pipeline スクリプトは、転送条件のフィルターと最終的な内容に影響します。
スクリプト作成時に、「Pipeline による転送データ処理を有効化」をチェックできます。チェックすると、データはスクリプトで処理された後にフィルターおよび保存されます。チェックしない場合は、元のデータが直接転送されます。
3. 詳細設定
データソースとしてログを選択した場合は、さらに設定できます:
-
拡張フィールドを含める:デフォルトでは、条件に一致するログの
messageフィールドの内容のみが転送されます。「拡張フィールドを含める」をチェックすると、条件に一致するログデータ全体が転送されます。- 複数のデータ転送ルールを作成する場合、「拡張フィールドを含める」がチェックされたルールが優先的に一致します。異なるルールが同じデータにヒットした場合は、「拡張フィールドを含める」のロジックに従ってログデータ全体が優先的に表示されます。
-
インデックスを限定:ドロップダウンからネイティブ直接書き込みインデックスを選択します。有効化すると、選択したインデックスのログデータのみが転送されます。(❗️インデックスを限定すると、このデータ転送ルールのパフォーマンスへの負荷が大幅に軽減されます)
ステップ3:転送先を選択¶
より包括的なデータ転送方式を提供するため、システムはタイプ別に以下の転送先を提供します:
| タイプ | 転送先 |
|---|---|
| 組み込みストレージ | Guance:一致したログデータはGuance側の OSS、S3、OBS オブジェクトストレージに保存されます |
| オブジェクトストレージ | AWS S3、Huawei Cloud OBS、Alibaba Cloud OSS、Volcengine TOS、Google Cloud GCS |
| 分析プラットフォーム | Apache Doris、TiDB Cloud Lake、LogBamboo |
| メッセージキュー | Kafka |
注意
-
Google Cloud GCS は中国香港およびグローバルリージョンのサイトのみをサポートします。
-
データ転送の保存先としてGuanceを選択した場合、ログデータの最低保存期間はデフォルトで180日となり、ルールの作成後はキャンセルできません。保存期間中は毎日料金が発生します。管理 > ワークスペース設定 > データ保存ポリシーを変更から変更できます。
保存形式¶
選択した転送先でこの設定項目が提供される場合は、必要に応じてデータ保存形式を選択します。LogBamboo ではここで形式を選択しません。基盤となる Parquet ファイルはサービス側で生成されます。設定方法はLogBamboo へのデータ転送を参照してください。
-
JSON:テキスト形式(❗️データをGuanceに転送する場合、JSON 保存形式のみ選択できます)。
-
Parquet:列指向ストレージ形式。
以下の表の Parquet の再表示制限は、プラットフォームからオブジェクトストレージへ直接転送された Parquet コピーを指し、LogBamboo クエリサービス経由の履歴検索には適用されません。
| 特性 | JSON | Parquet |
|---|---|---|
| 機能の位置づけ | 即時消費と統合向けの標準形式 | 低コストアーカイブとオフライン分析向けの最適化形式 |
| データ状態 | 再表示可能なホットデータ。転送後のデータはGuanceプラットフォーム内(ログエクスプローラーなど)で通常どおり保存および表示され、両側で一貫して参照できます | 外部処理用のコールドデータ。データ転送後も、元のログはGuanceプラットフォーム内で通常どおり保存および表示されますが、Parquet 形式で転送されたコピーは形式の制限により、その内容をGuanceの画面で再読み込みまたは再表示できません |
| 主要なユースケース | Guance内のデータのオブザーバビリティを維持しつつ、外部システム(SIEM、自社構築のログストアなど)がリアルタイムに消費できる、直接解析可能なコピーを提供します | 条件に一致するデータについて、外部のビッグデータシステムが効率的に一括分析できる、ストレージコストに優れた専用コピーを生成します |
| 業務利用 | 下流の業務システムは、API、オブジェクトストレージファイル、またはメッセージキューを通じて、Guance画面内と完全に一致する可読ログを準リアルタイムに取得できます。用途: |
下流のビッグデータシステムは、オブジェクトストレージ内の Parquet ファイルを定期的(毎時/毎日など)に一括読み取りできます。用途: |
| 主な影響 | データの二重書き込みにより、両側で可視化されます。追加のストレージコストが発生しますが、Guanceの内外のエコシステムにおけるデータの一貫性と即時可用性が確保されます | 形式専用のため、再表示制限があります。生成された Parquet コピーは外部分析向けに最適化されており、再取り込みによる閲覧には適していないため、このコピー自体をGuanceで再表示することはできません。ただし、元のログのGuance内でのオブザーバビリティには一切影響しません |
暗号化保存¶
このオプションは、AWS S3、Huawei Cloud OBS、Alibaba Cloud OSS、Volcengine TOS、Google Cloud GCS の JSON または Parquet 保存形式にのみ適用されます。
LogBamboo ではこのスイッチは提供されません。設定方法はLogBamboo へのデータ転送を参照してください。
有効化すると、オブジェクトストレージへ転送されたファイルは暗号化して保存されます。ファイルをダウンロードしてローカルで読み取る場合は、ファイルの復号を参照してください。
対称暗号化とは?
対称暗号化は、同じ鍵を使用してデータを暗号化および復号する暗号化方式です。1つの鍵で同じ錠前を施錠することも解錠することもできるようなものです。
ステップ4:データ閲覧権限を定義¶
転送データの閲覧権限を設定し、データの安全性を高めます。
LogBamboo では、コンソールで転送済みデータを再表示するために、先に独立したクエリ Token を提供する必要があります。転送のみを行う場合は、クエリ Token を入力しなくてもかまいません。ルールの閲覧権限は、LogBamboo 自体のアカウント権限およびインデックス権限とは別に管理されます。
-
無制限:ワークスペースのすべてのメンバーが転送データを閲覧できます。
-
カスタム:転送データを閲覧できるメンバーロールを指定します。

