コンテンツにスキップ

データ転送:TiDB Cloud Lake へ


転送先として TiDB Cloud Lake を選択すると、Guance は転送ルールに従って独立した Parquet Batch を生成し、システム管理の中継ストレージを経由して指定された Database.TargetTable にロードします。これにより、長期 SQL およびビジネス関連分析が可能になります。

前提条件

設定を開始する前に、以下を確認してください:

  • Lake DSN:取得済みで、有効な Database と Warehouse を含んでいること。まだ取得していない場合は、最初に Lake DSN を取得する を参照してください;
  • 転送ルールルール名とフィルター条件の設定 が完了していること;
  • SQL ユーザー権限:ターゲットテーブルが既に存在する場合は書き込み権限が必要;ターゲットテーブルが存在しない場合は、ターゲット Database にテーブルを作成する権限も必要です。
権限に関する推奨事項

データ転送専用の SQL ユーザーを使用し、必要なターゲット Database とターゲットテーブルに対する書き込み権限およびテーブル作成権限のみを付与することを推奨します。グローバル管理者権限を持つ個人アカウントは使用しないでください。

設定手順

ステップ 1:転送先を選択

転送先を選択 で、分析プラットフォーム グループから TiDB Cloud Lake を選択します。

選択後、以下の設定はシステムによって固定されます:

設定項目 固定値 説明
転送先タイプ 分析プラットフォーム(AP) 観測データを TiDB Cloud Lake にロードし、長期 SQL およびビジネス関連分析に使用します
ストレージ形式 Parquet デフォルトのストレージ形式
アクセス種別 SQL 接続認証 Lake DSN を使用して認証を実行し、ロードを実行します
中継ストレージ システム管理 Bucket、Region、オブジェクトパス、IAM Role、Access Keys の入力は不要です

ステップ 2:接続情報を入力

設定項目 必須 説明
Lake DSN はい TiDB Cloud Lake Connect ページからコピーした完全な DSN を貼り付けます
データベース(Database) 自動 Lake DSN パスから自動的に解析され、読み取り専用で表示されます。個別の変更はできません
ウェアハウス(Warehouse) 自動 Lake DSN パラメータから自動的に解析され、読み取り専用で表示されます。個別の変更はできません
ターゲットテーブル(Target Table) はい テーブル名のみを入力します。実際のロード先は Database.TargetTable です
データ待機時間 はい 15 分、30 分、または 1 時間から選択できます。デフォルトは 1 時間です

Lake DSN を入力したら、Database と Warehouse が自動的に解析されたことを確認してから、Target Table を入力してください。

システム管理ストレージ

システムは現在のルールに従って独立した Parquet Batch を生成し、Database.TargetTable にロードします。ターゲットテーブルが存在しない場合は、ルール作成完了時に、現在転送されるデータタイプのシステム管理構造に従って自動的に作成されます。

ステップ 3:接続をテスト

接続テスト をクリックします。システムは以下を検証します:

  • Lake DSN の形式と認証情報;
  • Database と Warehouse が有効かどうか;
  • ネットワークに接続できるかどうか;
  • ターゲットテーブルが存在するかどうか;
  • ターゲットテーブルが既に存在する場合、SQL ユーザーに書き込み権限があるか、およびテーブル構造が互換性があるかどうか;
  • ターゲットテーブルが存在しない場合、SQL ユーザーにターゲット Database にテーブルを作成する権限があるかどうか。

テストが完了すると、ページはチェック結果に基づいて、ターゲットテーブルの状態、権限チェック結果、および対処が必要な問題を通知します。

接続テストではターゲットテーブルは作成されません

接続テストでは、ターゲットテーブルの存在、関連権限、および構造の互換性をチェックしますが、ターゲットテーブルは作成されません。ターゲットテーブルが存在しない場合、システムはチェック結果のみを通知します。実際のテーブル作成操作は、ルール作成の完了時に実行されます。

ステップ 4:データ表示権限を設定

データ転送ルールの権限設定を継承します:

  • 制限なし:ワークスペースのメンバー全員が転送データを表示できます;
  • 指定メンバーのみ表示可能:指定されたロールまたはメンバーのみが表示できます。

ステップ 5:ルール作成を完了

ルール作成を完了すると、システムは接続情報とターゲットテーブルの状態を再チェックし、以下のように処理します:

SQL ユーザーの書き込み権限とテーブル構造の互換性を再度チェックします。チェックに失敗した場合でも、ルールは作成され有効化されますが、ルール一覧に【!】の注意表示が行われます。表示に従って、書き込み権限またはテーブル構造の問題を修正してください。

現在転送されるデータタイプのシステム管理構造に従ってターゲットテーブルを作成します。テーブル作成権限がない、または作成に失敗した場合でも、ルールは作成され有効化されますが、ルール一覧に【!】の注意表示が行われます。表示に従って、権限またはテーブル作成の問題を修正してください。

ルールの作成が完了し有効化されると、ルールに一致するデータは、データ待機時間に従って Parquet Batch として封入され、ターゲットテーブルにロードされます。

データ待機時間

データ待機時間は、ファイルの封入とロードバッチの頻度に影響します:

オプション 適用シナリオ
15 分 Lake で新しいデータをより早くクエリしたい場合に適しており、より頻繁なロードタスクを受け入れられます
30 分 即時性とロード頻度のバランスを取ります
1 時間 デフォルト値。長期アーカイブとバッチ分析に適しています

データ転送は、1 件ずつリアルタイムで書き込まれるわけではありません。ルールを有効化した後、最初のバッチが封入されロードが完了するまで待つ必要があります。

TiDB Cloud Lake での確認

  1. 少なくとも 1 つのデータ待機期間を待ちます;
  2. TiDB Cloud Lake を開きます;
  3. ルールで使用されている Database、Warehouse、および Target Table を使用して読み取り専用クエリを実行します;
  4. 転送条件に一致するデータが表示されているか確認します。

最初は、行数を制限したクエリで確認することをお勧めします:

SELECT *
FROM database_name.target_table
LIMIT 10;

例の Database と Target Table は実際の値に置き換えてください。

設定結果

設定が成功すると、以下が満たされている必要があります:

  • ルールのステータスが「有効」である;
  • Database と Warehouse が Lake DSN と一致している;
  • ターゲットテーブルが存在し、書き込み可能である;
  • 少なくとも 1 つの Parquet Batch が正常にロードされている;
  • TiDB Cloud Lake でルールに一致するデータをクエリできる。

注意事項

  • データセットは TiDB Cloud Lake 接続の必須項目ではありません。転送先の設定で個別に入力する必要はありません。転送データの範囲は、ルールのデータタイプとフィルター条件によって決定されます。
  • Target Table を変更しても、以降のロードにのみ影響します。既に古いテーブルに書き込まれたデータは移行されません。
  • TiDB Cloud Lake SQL ユーザーのパスワードを変更した場合、Lake DSN を再取得してルールを編集する必要があります。
  • ルールのロードに失敗した場合、システムは失敗原因を保持し、リトライします。権限、接続、またはテーブル構造の問題を修正した後、再実行できます。

接続テスト、ルール作成の完了、またはロードに失敗した場合は、TiDB Cloud Lake のよくある質問 を参照してください。

フィードバック

このページは役に立ちましたか?