コンテンツにスキップ

AWS S3 へのデータ転送


  1. ルール名とフィルター条件の設定を完了します。
  2. 続いてアーカイブを設定します。

設定

  1. アーカイブタイプで AWS S3 を選択すると、一致したデータをこのオブジェクトストレージに保存することを意味します。
  2. ストレージ形式を選択します。

    • Apache Iceberg を選択した場合は、追加設定を完了する必要があります。
  3. ストレージ形式が JSON または Parquet の場合は、暗号化ストレージを行うかどうかを選択します。

  4. アクセスタイプを選択します。
  5. 確定をクリックすると作成が完了します。
注意

アーカイブタイプ情報に変更がある場合は、設定変更によるデータ書き込み失敗を避けるため、関連プラットフォームの設定が同期して更新されていることを確認してください。新しい設定ルールは 5 分以内に有効になります。

ストレージ形式が JSON または Parquet で暗号化ストレージを有効にしている場合、ファイルをダウンロードしてローカルで読み取る方法については、ファイルの復号を参照してください。

Apache Iceberg

Apache Iceberg はオープンテーブルフォーマット(Open Table Format)です。ストレージ形式で Apache Iceberg を選択すると、Guance はデータを Parquet ファイルとして REST Catalog 経由でお客様の Iceberg テーブルに書き込みます。データは Spark、Trino、Flink などのデータレイクエンジンから直接読み取ることができ、スキーマ進化やスナップショットなどのテーブル機能を備えています。

注意

Iceberg 形式は現在書き込みのみをサポートし、Guance 内でアーカイブデータを照会することはできません。このルールは「データ表示ページ」では選択できません。照会が必要な場合は、外部クエリエンジンから同じ Catalog に接続して読み取ってください。

  1. ストレージ形式で Apache Iceberg を選択します(❗️選択後、ページには「暗号化ストレージ」と「データ待機時間」の設定項目が表示されなくなります)。
  2. Iceberg Catalog で Catalog Provider を選択し、Catalog URI と Warehouse を入力します(いずれも必須)。Provider によって値の形式が異なります。

    Catalog Provider Catalog URI Warehouse の値
    汎用 REST Catalog REST Catalog アドレス(例:https://catalog.example.com)。/v1 を手動で追加しないでください Warehouse のストレージアドレス(例:s3://warehouse/observability)
    AWS S3 Tables https://s3tables.<region>.amazonaws.com/iceberg 完全な Table Bucket ARN(例:arn:aws:s3tables:<region>:<account-id>:bucket/<bucket-name>、中国リージョンの ARN プレフィックスは arn:aws-cn)
    AWS Glue https://glue.<region>.amazonaws.com/iceberg 12 桁の AWS ルートアカウント ID(IAM ユーザー ID ではありません)(例:294654068288)
    • 「汎用 REST Catalog」を選択した場合、Endpoint を任意で入力できます。プライベートクラウドやカスタム S3 アドレスへデータを転送する必要がある場合は Endpoint を入力できます。パブリッククラウドのシナリオでは空欄のままにすることを推奨します。システムが内部ネットワーク転送を利用できるかどうかを自動的に判断します。Endpoint を入力した場合、パブリックネットワーク転送として課金されます。
  3. ターゲットテーブル で Namespace(単一レベルの名前空間で、. を含めることはできません)と Table(テーブル名)を入力します。テーブルが存在しない場合は自動的に作成され、データは hour(date) で自動的にパーティション分割されます。

  4. Catalog 認証 方式を選択し、対応する認証情報を入力します。

    • 汎用 REST Catalog では、以下の認証方式をサポートします。

      • 認証なし:入力不要です。
      • Basic Auth:Credential(username:password)を入力します。
      • Bearer Token:Token を入力します。
      • OAuth2:Credential(client-id:client-secret)を入力します。OAuth2 Server URI は任意で入力し、入力しない場合は Catalog のデフォルトアドレスを使用します。
    • AWS S3 Tables / AWS Glue:SigV4 を固定で使用し、追加設定は不要です。上記で設定した AWS アクセス認証情報を自動的に再利用します。

  5. 以下のアクセスタイプの説明に従って、認可とアーカイブ情報の設定を完了します。

  6. 「接続テスト」をクリックして、ストレージバケットと Catalog の接続性を検証します。成功したら確定をクリックして現在のルールを保存します。

注意
  • ルール作成後、ストレージ形式、リージョン、Catalog URI、Warehouse、Namespace、Table は変更できません。ストレージバケット、ストレージパスは変更可能で、変更ロジックは既存のルールと同じです。
  • カスタムパーティションルール、ファイル形式、テーブル属性などの設定は現在サポートされていません。
  • ストレージパスの命名規則は既存のルールと同じです。

アクセスタイプ

ロール認可

  1. AWS リソースの第三者アクセス権を設定するには、Guance がデフォルトで生成する外部 ID を使用する必要があります。

  2. AWS で Guance IAM ロールを設定した後、アーカイブ情報を入力し、AWS アカウント ID、AWS ロール名、リージョン、ストレージバケット名を入力します。

  3. ストレージパスを入力します。後続でデータ転送の具体的な位置を区別および検索しやすくするためです。

  4. 「接続テスト」をクリックし、上記の情報が仕様を満たしている場合は接続テスト成功と表示されます。確定をクリックして現在のルールを保存します。

ストレージパスの命名規則
  1. 単一フォルダーおよび多階層フォルダーを作成できます。スラッシュ(/)は多階層フォルダーの作成を表します。
  2. フォルダー名はスラッシュ(/)で始めたり終わったりすることはできません。
  3. 2 つ以上連続するスラッシュ(/)を含めることはできません。
  4. すべてのアクセスタイプに適用されます。
注意
  • 入力したフォルダーが存在しない場合、Guance が直接作成し、データは引き続きそのパスに保存されます。
  • ストレージパスの変更は慎重に行ってください。設定更新には約 5 分の遅延があるため、変更後も一部のデータが元のディレクトリに転送される可能性があります。
テストに合格しない場合:

以下を確認してください:

  • 外部 ID が失効していないか。
  • アカウント ID が正しいか。
  • アカウントロールが存在するか。
  • ストレージバケットが存在するか。
  • Region が一致していないか。

以下の場合は慎重に操作してください:

  • 「外部 ID を再生成」をクリックすると、過去の ID は 24 時間後に失効します。速やかに AWS コンソールに移動して置き換えてください。
  • 「外部 ID を生成」を複数回クリックしないでください。慎重に操作してください!

Access Keys

  1. AWS リソース認可テンプレートをダウンロードし、AWS で Guance IAM ポリシーを設定します。
  2. 設定完了後、アカウント情報を入力し、AWS AK & SK、リージョン、Bucket 名を入力します。
  3. ストレージパスを入力します。後続でデータ転送の具体的な位置を区別および検索しやすくするためです。
  4. 「接続テスト」をクリックし、上記の情報が仕様を満たしている場合は接続テスト成功と表示されます。
テストに合格しない場合:

以下を確認してください:

  • アカウント ID が正しいか
  • AK / SK が存在するか
  • ストレージバケットが存在するか
  • Region が一致していないか

アカウント認可

  1. AWS はクロスアカウント認可機能を提供しています。Guance 専用のアカウント ID を使用し、設定説明に従ってクロスアカウントアクセス認可ポリシーを追加する必要があります。

  2. 設定完了後、リージョンを選択し、ストレージバケット名を入力します。

  3. ストレージパスを入力します。後続でデータ転送の具体的な位置を区別および検索しやすくするためです。

  4. 「接続テスト」をクリックし、上記の情報が仕様を満たしている場合は接続テスト成功と表示されます。確定をクリックして現在のルールを保存します。

テストに合格しない場合:

以下を確認してください:

  • アカウント ID が正しいか
  • ストレージバケットが存在するか
  • Region が一致していないか

データ待機時間

データはまずローカルの一時ファイルに書き込まれ、ファイルサイズが 256 MB に達するか、待機時間が設定値に達すると、システムが自動的に圧縮してアップロードします。実際のニーズに応じて待機時間を調整できます。選択肢は 15 分、30 分、1 時間です:

  • 短く設定すると、下流データの遅延は低くなりますが、より多くのファイルが生成されます。
  • 長く設定すると、ファイル数は少なくなりますが、下流データの遅延は相応に増加します。
注意

ストレージ形式が Apache Iceberg の場合、この設定は関係ありません。

次のステップ

現在のデータ転送ルールにおけるデータ表示権限の設定を続行します。

注意

ストレージ形式が Apache Iceberg の場合、現在は書き込みのみをサポートしており、データ表示権限を設定する必要はありません。

フィードバック

このページは役に立ちましたか?