データ転送先: AWS S3¶

1. ルール名とフィルター条件の設定 を完了します。
2. 引き続きアーカイブの設定を行います。

設定¶

1. アーカイブタイプとして AWS S3 を選択します。これは、マッチしたデータをこのオブジェクトストレージに保存することを意味します。
2. ストレージ形式 を選択します。
   • Apache Iceberg を選択した場合は、追加設定を完了する必要があります。
3. 暗号化ストレージ の有無を選択します。
4. アクセスタイプ を選択します。
5. 「確定」をクリックすると、作成が完了します。

Apache Iceberg¶

Apache Iceberg は、オープンなテーブルフォーマット（Open Table Format）です。ストレージ形式として Apache Iceberg を選択すると、Guanceはデータを Parquet ファイルとして、REST Catalog を介してお客様の Iceberg テーブルに書き込みます。このデータは、Spark、Trino、Flink などのデータレイクエンジンから直接読み取り可能で、スキーマ進化やスナップショットなどのテーブル機能を備えています。

1. ストレージ形式として Apache Iceberg を選択します（❗️選択後、ページには「暗号化ストレージ」と「データ待機時間」の設定項目は表示されなくなります）。

2. Iceberg Catalog で Catalog Provider を選択し、Catalog URI と Warehouse を入力します（いずれも必須です）。Provider ごとに値の形式が異なります。

   Catalog Provider	Catalog URI	Warehouse の値
   汎用 REST Catalog	REST Catalog アドレス（例：https://catalog.example.com）。手動で /v1 を追加しないでください。	Warehouse ストレージアドレス（例：s3://warehouse/observability）
   AWS S3 Tables	https://s3tables.<region>.amazonaws.com/iceberg	完全な Table Bucket ARN（例：arn:aws:s3tables:<region>:<account-id>:bucket/<bucket-name>）（中国リージョンの ARN プレフィックスは arn:aws-cn）
   AWS Glue	https://glue.<region>.amazonaws.com/iceberg	12 桁の AWS ルートアカウント ID（IAM ユーザー ID ではありません）（例：294654068288）

   • 「汎用 REST Catalog」を選択した場合、Endpoint はオプションで入力できます。プライベートクラウドやカスタム S3 アドレスにデータを転送する必要がある場合は、Endpoint を入力してください。パブリッククラウドのシナリオでは、空欄のままにすることを推奨します。システムが自動的に内部ネットワーク転送が可能かどうかを判断します。Endpoint を入力すると、公網転送の料金が適用されます。

3. ターゲットテーブル に Namespace（単層の名前空間で、. を含めることはできません）と Table（テーブル名）を入力します。テーブルが存在しない場合は自動的に作成され、データは hour(date) で自動パーティション分割されます。

4. Catalog 認証 方式を選択し、対応する資格情報を入力します。
   • 汎用 REST Catalog では、以下の認証方式をサポートしています。
     • 認証なし：入力は不要です。
     • Basic Auth：Credential（username:password）を入力します。
     • Bearer Token：Token を入力します。
     • OAuth2：Credential（client-id:client-secret）を入力します。OAuth2 Server URI はオプションで、入力がない場合は Catalog のデフォルトアドレスが使用されます。
   • AWS S3 Tables / AWS Glue：SigV4 が固定で使用されます。追加設定は不要で、上記で設定した AWS アクセス資格情報が自動的に再利用されます。
5. 下記の アクセスタイプ の説明に従って、認証とアーカイブ情報の設定を完了します。
6. 「テスト接続」をクリックして、ストレージバケットと Catalog の接続性を確認します。成功したら、「確定」をクリックして現在のルールを保存します。

アクセスタイプ¶

ロール認証¶

1. Guanceがデフォルトで生成する外部 ID を使用して、AWS リソースへのサードパーティアクセス権限を設定する必要があります。
2. AWS で Guance IAM ロールを設定 した後、アーカイブ情報を入力します。AWS アカウント ID、AWS ロール名、リージョン、ストレージバケット名を入力します。
3. ストレージパス を入力します。これにより、後でデータ転送の具体的な場所をさらに区別して検索しやすくなります。
4. 「テスト接続」をクリックします。上記の情報が規則を満たしている場合、テスト接続成功のメッセージが表示されます。「確定」をクリックして現在のルールを保存します。

ストレージパスの命名規則¶

1. 単一のフォルダおよび複数階層のフォルダを作成できます。スラッシュ（/）は複数階層のフォルダを作成することを示します。
2. フォルダ名はスラッシュ（/）で始めたり、終えたりすることはできません。
3. 2 つ以上の連続するスラッシュ（/）を含めることはできません。
4. すべてのアクセスタイプに適用されます。

Access Keys¶

1. AWS リソース認証テンプレートをダウンロードし、AWS で Guance IAM ポリシーを設定 します。
2. 設定完了後、アカウント情報を入力します。AWS AK & SK、リージョン、バケット名を入力します。
3. ストレージパス を入力します。これにより、後でデータ転送の具体的な場所をさらに区別して検索しやすくなります。
4. 「テスト接続」をクリックします。上記の情報が規則を満たしている場合、テスト接続成功のメッセージが表示されます。

アカウント認証¶

1. AWS はクロスアカウント認証機能を提供しています。Guance専用のアカウント ID を使用し、設定説明に従って クロスアカウントアクセス認証ポリシーを追加する必要があります。
2. 設定完了後、リージョンを選択し、ストレージバケット名を入力します。
3. ストレージパス を入力します。これにより、後でデータ転送の具体的な場所をさらに区別して検索しやすくなります。
4. 「テスト接続」をクリックします。上記の情報が規則を満たしている場合、テスト接続成功のメッセージが表示されます。「確定」をクリックして現在のルールを保存します。

データ待機時間¶

データはまずローカルの一時ファイルに書き込まれます。ファイルサイズが 256 MB に達するか、待機時間が設定値に達すると、システムが自動的に圧縮してアップロードします。実際のニーズに応じて、待機時間を 15 分、30 分、1 時間から調整できます。

• 短く設定すると、下流のデータ遅延は低くなりますが、より多くのファイルが生成されます。
• 長く設定すると、ファイル数は少なくなりますが、下流のデータ遅延が増加します。

次のステップ¶

現在の転送ルールの データ参照権限 の設定を続行します。