TiDB Cloud Lake へのデータ転送¶

転送先として TiDB Cloud Lake を選択すると、Guance は転送ルールに従って独立した Parquet Batch を生成し、システム管理下の中間ストレージを経由して指定された Database.TargetTable にロードします。これにより、長期的な SQL 分析やビジネス関連分析が可能になります。

前提条件¶

設定を開始する前に、以下を確認してください。

Lake DSN: 取得済みであり、有効な Database および Warehouse が含まれていること。まだお持ちでない場合は、まずLake DSN を取得してください。
転送ルール: ルール名とフィルター条件の設定が完了していること。
SQL ユーザー権限: ターゲットテーブルが既に存在する場合は書き込み権限が必要です。ターゲットテーブルが存在しない場合は、ターゲット Database にテーブルを作成する権限も必要です。

権限に関する推奨事項

データ転送専用の SQL ユーザーを使用し、ターゲット Database とターゲットテーブルに必要な書き込み権限およびテーブル作成権限のみを付与することを推奨します。グローバル管理権限を持つ個人アカウントは使用しないでください。

設定手順¶

手順1：転送先の選択¶

転送先の選択で、分析プラットフォームグループから TiDB Cloud Lake を選択します。

選択後、以下の設定はシステムによって固定されます。

設定項目	固定値	説明
転送先タイプ	分析プラットフォーム（AP）	観測データを TiDB Cloud Lake にロードし、長期的な SQL 分析やビジネス関連分析に使用します
ストレージ形式	Parquet	デフォルトのストレージ形式
アクセスタイプ	SQL 接続認証	Lake DSN を使用して ID を検証し、ロードを実行します

手順2：接続情報の入力¶

設定項目	必須	説明
Lake DSN	はい	TiDB Cloud Lake Connect ページからコピーした完全な DSN を貼り付けます
データベース（Database）	自動	Lake DSN パスから自動的に解析されます。読み取り専用で表示され、個別に変更することはできません
ウェアハウス（Warehouse）	自動	Lake DSN パラメータから自動的に解析されます。読み取り専用で表示され、個別に変更することはできません
ターゲットテーブル（Target Table）	はい	テーブル名のみを入力します。実際のロード先は `Database.TargetTable` になります
データ待機時間	はい	15 分、30 分、または 1 時間から選択可能です。デフォルトは 1 時間です

Lake DSN を入力したら、まず Database と Warehouse が自動的に解析されたことを確認し、その後 Target Table を入力してください。

システム管理ストレージ

システムは現在のルールに従って独立した Parquet Batch を生成し、Database.TargetTable にロードします。ターゲットテーブルが存在しない場合は、ルール作成完了時に、現在の転送データタイプのシステム管理構造に従って自動的に作成されます。

手順3：接続テスト¶

接続テストをクリックします。システムは以下を検証します。

Lake DSN の形式と認証情報
Database と Warehouse が有効かどうか
ネットワークに接続可能かどうか
ターゲットテーブルが存在するかどうか
ターゲットテーブルが既に存在する場合、SQL ユーザーに書き込み権限があるか、およびテーブル構造に互換性があるかどうか
ターゲットテーブルが存在しない場合、SQL ユーザーにターゲット Database 内でテーブルを作成する権限があるかどうか

テストが完了すると、ページはチェック結果に基づいて、ターゲットテーブルの状態、権限チェック結果、および対処が必要な問題を表示します。

接続テストではターゲットテーブルは作成されません

接続テストでは、ターゲットテーブルの存在、関連する権限、および構造の互換性をチェックしますが、ターゲットテーブルを作成することはありません。ターゲットテーブルが存在しない場合、システムはチェック結果を表示するのみです。実際のテーブル作成操作は、ルール作成の完了時に実行されます。

手順4：データ表示権限の設定¶

データ転送ルールの権限設定を継承します。

制限なし：ワークスペースメンバー全員が転送データを表示できます。
指定メンバーのみ表示可能：指定されたロールまたはメンバーのみが表示できます。

手順5：ルール作成の完了¶

ルール作成を完了すると、システムは接続情報とターゲットテーブルの状態を再チェックし、以下のように処理します。

ターゲットテーブルが既に存在する場合ターゲットテーブルが存在しない場合

SQL ユーザーの書き込み権限とテーブル構造の互換性を再度チェックします。チェックに失敗した場合でも、ルールは作成され有効になりますが、ルール一覧に【！】の注意表示がされます。表示に従って、書き込み権限またはテーブル構造の問題を修正してください。

現在の転送データタイプのシステム管理構造に従って、ターゲットテーブルを作成します。テーブル作成権限がない場合、または作成に失敗した場合でも、ルールは作成され有効になりますが、ルール一覧に【！】の注意表示がされます。表示に従って、権限またはテーブル作成の問題を修正してください。

ルールが作成され有効になると、ルールに一致するデータは、データ待機時間に従って Parquet Batch として格納され、その後ターゲットテーブルにロードされます。

データ待機時間¶

データ待機時間は、ファイルの格納およびロードバッチの頻度に影響します。

オプション	適用シナリオ
15 分	より迅速に Lake で新しいデータをクエリしたい場合に適します。より頻繁なロードタスクが許容されます
30 分	即時性とロード頻度のバランスを取る場合に適します
1 時間	デフォルト値。長期的なアーカイブとバッチ分析に適します

データ転送は、1 件ずつリアルタイムに書き込まれるわけではありません。ルールを有効にした後、最初のバッチが格納されロードが完了するまで待つ必要があります。

TiDB Cloud Lake での検証¶

少なくとも 1 つのデータ待機期間が経過するのを待ちます。
TiDB Cloud Lake を開きます。
ルールで使用されている Database、Warehouse、および Target Table を使用して読み取り専用クエリを実行します。
転送条件に一致するデータが表示されているかどうかを確認します。

まずは、行数を制限したクエリで検証することをお勧めします。

SELECT *
FROM database_name.target_table
LIMIT 10;

サンプル内の Database と Target Table は、実際の値に置き換えてください。

設定結果¶

設定が成功すると、以下の条件を満たす必要があります。

ルールのステータスが「有効」になっていること
Database と Warehouse が Lake DSN と一致していること
ターゲットテーブルが存在し、書き込み可能であること
少なくとも 1 つの Parquet Batch が正常にロードされていること
TiDB Cloud Lake で、ルールに一致するデータをクエリできること

注意事項¶

データセットは TiDB Cloud Lake 接続の必須項目ではないため、転送先の設定で個別に入力する必要はありません。転送データの範囲は、ルールのデータタイプとフィルター条件によって決まります。
Target Table を変更しても、それ以降のロードにのみ影響し、既に古いテーブルに書き込まれたデータが移行されることはありません。
TiDB Cloud Lake の SQL ユーザーパスワードを変更した場合は、Lake DSN を再取得し、ルールを編集する必要があります。
ルールのロードに失敗した場合、システムは失敗理由を保持し、再試行します。権限、接続、またはテーブル構造の問題を修正した後、再実行が可能です。

接続テスト、ルール作成の完了、またはロードが失敗した場合は、TiDB Cloud Lake に関するよくある質問を参照してください。