TiDB Cloud Lake로 데이터 전송¶

TiDB Cloud Lake를 전송 대상으로 선택하면, Guance가 전송 규칙에 따라 독립적인 Parquet Batch를 생성하고, 시스템이 관리하는 중간 저장소를 통해 지정된 Database.TargetTable에 로드하여 장기 SQL 및 비즈니스 연관 분석에 사용합니다.

전제 조건¶

구성을 시작하기 전에 다음 사항을 확인하세요.

Lake DSN: 유효한 Database 및 Warehouse를 포함하여 획득 완료. 아직 없으면 Lake DSN 가져오기를 먼저 진행하세요.
전송 규칙: 규칙 이름 및 필터 조건 설정 완료.
SQL 사용자 권한: 대상 테이블이 이미 존재하는 경우 쓰기 권한이 필요합니다. 대상 테이블이 존재하지 않는 경우 대상 Database에 테이블을 생성할 수 있는 권한도 필요합니다.

권한 권장 사항

데이터 전송 전용 SQL 사용자를 사용하고, 대상 Database 및 대상 테이블에 필요한 쓰기 및 테이블 생성 권한만 부여하는 것이 좋습니다. 전역 관리 권한이 있는 개인 계정은 사용하지 마세요.

구성¶

1단계: 전송 대상 선택¶

전송 대상 선택에서 분석 플랫폼 그룹의 TiDB Cloud Lake를 선택합니다.

선택하면 다음 구성이 시스템에 의해 고정됩니다.

구성 항목	고정값	설명
전송 대상 유형	분석 플랫폼(AP)	관측 데이터를 TiDB Cloud Lake에 로드하여 장기 SQL 및 비즈니스 연관 분석에 사용
스토리지 형식	Parquet	기본 스토리지 형식
액세스 유형	SQL 연결 인증	Lake DSN을 사용하여 ID를 확인하고 로드 실행
중간 저장소	시스템 관리	Bucket, Region, 객체 경로, IAM Role 또는 Access Keys를 입력할 필요 없음

2단계: 연결 정보 입력¶

구성 항목	필수 여부	설명
Lake DSN	예	TiDB Cloud Lake Connect 페이지에서 복사한 전체 DSN을 붙여넣기
Database	자동	Lake DSN 경로에서 자동으로 파싱되며, 읽기 전용으로 표시되며 별도 수정 불가
Warehouse	자동	Lake DSN 파라미터에서 자동으로 파싱되며, 읽기 전용으로 표시되며 별도 수정 불가
Target Table	예	테이블 이름만 입력, 실제 로드 대상은 `Database.TargetTable`
데이터 대기 시간	예	15분, 30분 또는 1시간 중 선택 가능, 기본값은 1시간

Lake DSN을 입력한 후 Database와 Warehouse가 자동으로 파싱되었는지 확인한 다음 Target Table을 입력하세요.

시스템 관리 저장소

시스템은 현재 규칙에 따라 독립적인 Parquet Batch를 생성하고 Database.TargetTable에 로드합니다. 대상 테이블이 존재하지 않는 경우, 규칙 생성 완료 시 현재 전송 데이터 유형의 시스템 관리 구조에 따라 자동으로 생성됩니다.

3단계: 연결 테스트¶

연결 테스트를 클릭합니다. 시스템에서 다음을 확인합니다.

Lake DSN의 형식 및 인증 정보
Database 및 Warehouse의 유효성
네트워크 연결 가능 여부
대상 테이블 존재 여부
대상 테이블이 이미 존재하는 경우 SQL 사용자의 쓰기 권한 및 테이블 구조 호환성
대상 테이블이 존재하지 않는 경우 SQL 사용자가 대상 Database에 테이블을 생성할 수 있는 권한

테스트가 완료되면 페이지에 대상 테이블 상태, 권한 확인 결과 및 해결해야 할 문제가 표시됩니다.

연결 테스트는 대상 테이블을 생성하지 않음

연결 테스트는 대상 테이블의 존재 여부, 관련 권한 및 구조 호환성을 확인하지만 대상 테이블을 생성하지는 않습니다. 대상 테이블이 존재하지 않는 경우 시스템은 확인 결과만 표시하며, 실제 테이블 생성 작업은 규칙 생성 완료 시 수행됩니다.

4단계: 데이터 조회 권한 설정¶

데이터 전송 규칙의 권한 설정을 그대로 사용합니다.

제한 없음: 워크스페이스 멤버 모두 전송 데이터 조회 가능
지정 멤버만 조회 가능: 지정된 역할 또는 멤버만 조회 가능

5단계: 규칙 생성 완료¶

규칙 생성 완료 시 시스템은 연결 정보와 대상 테이블 상태를 다시 확인하고 다음과 같이 처리합니다.

대상 테이블이 이미 존재하는 경우대상 테이블이 존재하지 않는 경우

SQL 사용자의 쓰기 권한과 테이블 구조 호환성을 다시 확인합니다. 확인에 실패해도 규칙은 생성 및 활성화되지만, 규칙 목록에 【!】 표시가 나타납니다. 표시에 따라 쓰기 권한 또는 테이블 구조 문제를 해결하세요.

현재 전송 데이터 유형의 시스템 관리 구조에 따라 대상 테이블을 생성합니다. 테이블 생성 권한이 없거나 생성에 실패해도 규칙은 생성 및 활성화되지만, 규칙 목록에 【!】 표시가 나타납니다. 표시에 따라 권한 또는 테이블 생성 문제를 해결하세요.

규칙 생성이 완료되고 활성화되면, 규칙에 일치하는 데이터는 데이터 대기 시간에 따라 Parquet Batch로封存(封存, 봉인)된 후 대상 테이블에 로드됩니다.

데이터 대기 시간¶

데이터 대기 시간은 파일 봉인 및 로드 배치 빈도에 영향을 미칩니다.

옵션	사용 사례
15분	Lake에서 새 데이터를 더 빨리 조회하고자 하며, 더 빈번한 로드 작업을 수용할 수 있는 경우
30분	적시성과 로드 빈도 간의 균형 유지
1시간	기본값, 장기 아카이브 및 배치 분석에 적합

데이터 전송은 레코드별 실시간 쓰기가 아닙니다. 규칙을 활성화한 후 첫 번째 배치가 봉인 및 로드 완료될 때까지 기다려야 합니다.

TiDB Cloud Lake에서 확인¶

데이터 대기 시간 주기를 최소 1회 기다립니다.
TiDB Cloud Lake를 엽니다.
규칙에 사용된 Database, Warehouse 및 Target Table을 사용하여 읽기 전용 쿼리를 실행합니다.
전송 조건에 일치하는 데이터가 나타나는지 확인합니다.

먼저 행 수를 제한한 쿼리로 확인할 수 있습니다.

SELECT *
FROM database_name.target_table
LIMIT 10;

예제의 Database와 Target Table을 실제 값으로 바꾸세요.

구성 결과¶

구성이 성공하면 다음 조건을 충족해야 합니다.

규칙 상태가 활성화됨
Database 및 Warehouse가 Lake DSN과 일치
대상 테이블이 존재하고 쓰기 가능
최소 하나의 Parquet Batch가 로드 성공
TiDB Cloud Lake에서 규칙에 일치하는 데이터를 조회 가능

주의사항¶

데이터 세트는 TiDB Cloud Lake 연결 필수 항목이 아니므로 전송 대상 구성에 별도로 입력하지 않습니다. 전송 데이터 범위는 규칙의 데이터 유형과 필터 조건에 의해 결정됩니다.
Target Table을 변경하면 이후 로드에만 영향이 있으며, 이미 이전 테이블에 기록된 데이터는 마이그레이션되지 않습니다.
TiDB Cloud Lake SQL 사용자 비밀번호를 변경한 후에는 Lake DSN을 다시 획득하고 규칙을 편집해야 합니다.
규칙 로드가 실패하면 시스템은 실패 원인을 보관하고 재시도합니다. 권한, 연결 또는 테이블 구조 문제를 해결한 후 다시 실행할 수 있습니다.

연결 테스트, 규칙 생성 완료 또는 로드가 실패하면 TiDB Cloud Lake FAQ를 참조하세요.