データ転送:TiDB Cloud Lake へ¶
転送先として TiDB Cloud Lake を選択すると、Guance は転送ルールに従って独立した Parquet Batch を生成し、システム管理の中継ストレージを経由して指定された Database.TargetTable にロードします。これにより、長期 SQL およびビジネス関連分析が可能になります。
前提条件¶
設定を開始する前に、以下を確認してください:
- Lake DSN:取得済みで、有効な Database と Warehouse を含んでいること。まだ取得していない場合は、最初に Lake DSN を取得する を参照してください;
- 転送ルール:ルール名とフィルター条件の設定 が完了していること;
- SQL ユーザー権限:ターゲットテーブルが既に存在する場合は書き込み権限が必要;ターゲットテーブルが存在しない場合は、ターゲット Database にテーブルを作成する権限も必要です。
権限に関する推奨事項
データ転送専用の SQL ユーザーを使用し、必要なターゲット Database とターゲットテーブルに対する書き込み権限およびテーブル作成権限のみを付与することを推奨します。グローバル管理者権限を持つ個人アカウントは使用しないでください。
設定手順¶
ステップ 1:転送先を選択¶
転送先を選択 で、分析プラットフォーム グループから TiDB Cloud Lake を選択します。
選択後、以下の設定はシステムによって固定されます:
| 設定項目 | 固定値 | 説明 |
|---|---|---|
| 転送先タイプ | 分析プラットフォーム(AP) | 観測データを TiDB Cloud Lake にロードし、長期 SQL およびビジネス関連分析に使用します |
| ストレージ形式 | Parquet | デフォルトのストレージ形式 |
| アクセス種別 | SQL 接続認証 | Lake DSN を使用して認証を実行し、ロードを実行します |
| 中継ストレージ | システム管理 | Bucket、Region、オブジェクトパス、IAM Role、Access Keys の入力は不要です |
ステップ 2:接続情報を入力¶
| 設定項目 | 必須 | 説明 |
|---|---|---|
| Lake DSN | はい | TiDB Cloud Lake Connect ページからコピーした完全な DSN を貼り付けます |
| データベース(Database) | 自動 | Lake DSN パスから自動的に解析され、読み取り専用で表示されます。個別の変更はできません |
| ウェアハウス(Warehouse) | 自動 | Lake DSN パラメータから自動的に解析され、読み取り専用で表示されます。個別の変更はできません |
| ターゲットテーブル(Target Table) | はい | テーブル名のみを入力します。実際のロード先は Database.TargetTable です |
| データ待機時間 | はい | 15 分、30 分、または 1 時間から選択できます。デフォルトは 1 時間です |
Lake DSN を入力したら、Database と Warehouse が自動的に解析されたことを確認してから、Target Table を入力してください。
システム管理ストレージ
システムは現在のルールに従って独立した Parquet Batch を生成し、Database.TargetTable にロードします。ターゲットテーブルが存在しない場合は、ルール作成完了時に、現在転送されるデータタイプのシステム管理構造に従って自動的に作成されます。
ステップ 3:接続をテスト¶
接続テスト をクリックします。システムは以下を検証します:
- Lake DSN の形式と認証情報;
- Database と Warehouse が有効かどうか;
- ネットワークに接続できるかどうか;
- ターゲットテーブルが存在するかどうか;
- ターゲットテーブルが既に存在する場合、SQL ユーザーに書き込み権限があるか、およびテーブル構造が互換性があるかどうか;
- ターゲットテーブルが存在しない場合、SQL ユーザーにターゲット Database にテーブルを作成する権限があるかどうか。
テストが完了すると、ページはチェック結果に基づいて、ターゲットテーブルの状態、権限チェック結果、および対処が必要な問題を通知します。
接続テストではターゲットテーブルは作成されません
接続テストでは、ターゲットテーブルの存在、関連権限、および構造の互換性をチェックしますが、ターゲットテーブルは作成されません。ターゲットテーブルが存在しない場合、システムはチェック結果のみを通知します。実際のテーブル作成操作は、ルール作成の完了時に実行されます。
ステップ 4:データ表示権限を設定¶
データ転送ルールの権限設定を継承します:
- 制限なし:ワークスペースのメンバー全員が転送データを表示できます;
- 指定メンバーのみ表示可能:指定されたロールまたはメンバーのみが表示できます。
ステップ 5:ルール作成を完了¶
ルール作成を完了すると、システムは接続情報とターゲットテーブルの状態を再チェックし、以下のように処理します:
SQL ユーザーの書き込み権限とテーブル構造の互換性を再度チェックします。チェックに失敗した場合でも、ルールは作成され有効化されますが、ルール一覧に【!】の注意表示が行われます。表示に従って、書き込み権限またはテーブル構造の問題を修正してください。
現在転送されるデータタイプのシステム管理構造に従ってターゲットテーブルを作成します。テーブル作成権限がない、または作成に失敗した場合でも、ルールは作成され有効化されますが、ルール一覧に【!】の注意表示が行われます。表示に従って、権限またはテーブル作成の問題を修正してください。
ルールの作成が完了し有効化されると、ルールに一致するデータは、データ待機時間に従って Parquet Batch として封入され、ターゲットテーブルにロードされます。
データ待機時間¶
データ待機時間は、ファイルの封入とロードバッチの頻度に影響します:
| オプション | 適用シナリオ |
|---|---|
| 15 分 | Lake で新しいデータをより早くクエリしたい場合に適しており、より頻繁なロードタスクを受け入れられます |
| 30 分 | 即時性とロード頻度のバランスを取ります |
| 1 時間 | デフォルト値。長期アーカイブとバッチ分析に適しています |
データ転送は、1 件ずつリアルタイムで書き込まれるわけではありません。ルールを有効化した後、最初のバッチが封入されロードが完了するまで待つ必要があります。
TiDB Cloud Lake での確認¶
- 少なくとも 1 つのデータ待機期間を待ちます;
- TiDB Cloud Lake を開きます;
- ルールで使用されている Database、Warehouse、および Target Table を使用して読み取り専用クエリを実行します;
- 転送条件に一致するデータが表示されているか確認します。
最初は、行数を制限したクエリで確認することをお勧めします:
例の Database と Target Table は実際の値に置き換えてください。
設定結果¶
設定が成功すると、以下が満たされている必要があります:
- ルールのステータスが「有効」である;
- Database と Warehouse が Lake DSN と一致している;
- ターゲットテーブルが存在し、書き込み可能である;
- 少なくとも 1 つの Parquet Batch が正常にロードされている;
- TiDB Cloud Lake でルールに一致するデータをクエリできる。
注意事項¶
- データセットは TiDB Cloud Lake 接続の必須項目ではありません。転送先の設定で個別に入力する必要はありません。転送データの範囲は、ルールのデータタイプとフィルター条件によって決定されます。
- Target Table を変更しても、以降のロードにのみ影響します。既に古いテーブルに書き込まれたデータは移行されません。
- TiDB Cloud Lake SQL ユーザーのパスワードを変更した場合、Lake DSN を再取得してルールを編集する必要があります。
- ルールのロードに失敗した場合、システムは失敗原因を保持し、リトライします。権限、接続、またはテーブル構造の問題を修正した後、再実行できます。
接続テスト、ルール作成の完了、またはロードに失敗した場合は、TiDB Cloud Lake のよくある質問 を参照してください。