콘텐츠로 이동

TiDB Cloud Lake로 데이터 전송

전송 대상을 TiDB Cloud Lake로 선택하면 Guance가 전송 규칙에 따라 독립적인 Parquet 배치를 생성하고, 시스템 관리 중간 저장소를 통해 지정된 Database.TargetTable에 로드하여 장기 SQL 및 비즈니스 연관 분석에 사용합니다.

전제 조건

구성을 시작하기 전에 다음을 확인하세요.

  • Lake DSN: 유효한 Database 및 Warehouse를 포함한 DSN을 확보합니다. 아직 없다면 먼저 Lake DSN 확보를 진행하세요.
  • 전송 규칙: 규칙 이름 및 필터 조건 설정을 완료합니다.
  • SQL 사용자 권한: 대상 테이블이 이미 존재하는 경우 쓰기 권한이 필요합니다. 대상 테이블이 존재하지 않는 경우 대상 Database에 테이블을 생성할 권한도 필요합니다.
권한 권장 사항

데이터 전송 전용 SQL 사용자를 사용하고, 대상 Database 및 대상 테이블에 필요한 쓰기 및 테이블 생성 권한만 부여하는 것이 좋습니다. 전역 관리 권한이 있는 개인 계정을 사용하지 마세요.

구성 시작

1단계: 전송 대상 선택

전송 대상 선택에서 분석 플랫폼 그룹의 TiDB Cloud Lake를 선택합니다.

선택 후 다음 구성은 시스템에 의해 고정됩니다.

구성 항목 고정 값 설명
전송 대상 유형 분석 플랫폼(AP) 관측 데이터를 TiDB Cloud Lake에 로드하여 장기 SQL 및 비즈니스 연관 분석에 사용합니다.
스토리지 형식 Parquet 기본 스토리지 형식입니다.
액세스 유형 SQL 연결 인증 Lake DSN을 사용하여 ID를 확인하고 로드를 실행합니다.

2단계: 연결 정보 입력

구성 항목 필수 여부 설명
Lake DSN 예 TiDB Cloud Lake Connect 페이지에서 복사한 전체 DSN을 붙여넣습니다.
데이터베이스(Database) 자동 Lake DSN 경로에서 자동으로 파싱되며 읽기 전용으로 표시되며 개별 수정이 불가능합니다.
웨어하우스(Warehouse) 자동 Lake DSN 매개변수에서 자동으로 파싱되며 읽기 전용으로 표시되며 개별 수정이 불가능합니다.
대상 테이블(Target Table) 예 테이블 이름만 입력합니다. 실제 로드 대상은 Database.TargetTable입니다.
데이터 대기 시간 예 15분, 30분 또는 1시간 중 선택 가능하며 기본값은 1시간입니다.

Lake DSN을 입력한 후 Database와 Warehouse가 자동으로 파싱되었는지 확인한 다음 Target Table을 입력하세요.

시스템 관리 스토리지

시스템은 현재 규칙에 따라 독립적인 Parquet 배치를 생성하고 Database.TargetTable에 로드합니다. 대상 테이블이 존재하지 않는 경우, 규칙 생성 완료 시 현재 전송 데이터 유형의 시스템 관리 구조에 따라 자동으로 생성됩니다.

3단계: 연결 테스트

연결 테스트를 클릭합니다. 시스템은 다음을 확인합니다.

  • Lake DSN의 형식 및 인증 정보
  • Database 및 Warehouse가 유효한지 여부
  • 네트워크 연결 가능 여부
  • 대상 테이블 존재 여부
  • 대상 테이블이 이미 존재하는 경우 SQL 사용자에게 쓰기 권한이 있는지, 테이블 구조가 호환되는지 여부
  • 대상 테이블이 존재하지 않는 경우 SQL 사용자가 대상 Database에 테이블을 생성할 권한이 있는지 여부

테스트가 완료되면 페이지는 검사 결과에 따라 대상 테이블 상태, 권한 검사 결과 및 해결해야 할 문제를 표시합니다.

연결 테스트는 대상 테이블을 생성하지 않습니다.

연결 테스트는 대상 테이블의 존재 여부, 관련 권한 및 구조 호환성을 확인하지만 대상 테이블을 생성하지는 않습니다. 대상 테이블이 존재하지 않는 경우 시스템은 검사 결과만 표시합니다. 실제 테이블 생성 작업은 규칙 생성 완료 시 실행됩니다.

4단계: 데이터 조회 권한 설정

데이터 전송 규칙의 권한 설정을 따릅니다.

  • 제한 없음: 워크스페이스 구성원 모두 전송 데이터를 조회할 수 있습니다.
  • 지정된 구성원만 조회 가능: 지정된 역할 또는 구성원만 조회할 수 있습니다.

5단계: 규칙 생성 완료

규칙 생성 완료 시 시스템은 연결 정보와 대상 테이블 상태를 다시 확인하고 다음과 같이 처리합니다.

SQL 사용자의 쓰기 권한과 테이블 구조 호환성을 다시 확인합니다. 확인에 실패해도 규칙은 생성 및 활성화되지만 규칙 목록에 【!】 표시가 나타납니다. 표시에 따라 쓰기 권한 또는 테이블 구조 문제를 해결하세요.

현재 전송 데이터 유형의 시스템 관리 구조에 따라 대상 테이블을 생성합니다. 테이블 생성 권한이 없거나 생성에 실패해도 규칙은 생성 및 활성화되지만 규칙 목록에 【!】 표시가 나타납니다. 표시에 따라 권한 또는 테이블 생성 문제를 해결하세요.

규칙이 생성 및 활성화되면 규칙에 해당하는 데이터는 데이터 대기 시간 동안 저장되었다가 Parquet 배치로封存되어 대상 테이블에 로드됩니다.

데이터 대기 시간

데이터 대기 시간은 파일 봉인 및 로드 배치 빈도에 영향을 미칩니다.

옵션 적용 사례
15분 Lake에서 더 빠르게 새 데이터를 조회하고자 하며, 더 빈번한 로드 작업을 수용할 수 있는 경우
30분 적시성과 로드 빈도 간의 균형을 유지하려는 경우
1시간 기본값이며 장기 보관 및 배치 분석에 적합합니다.

데이터 전송은 개별 레코드를 실시간으로 쓰는 방식이 아닙니다. 규칙을 활성화한 후 첫 번째 배치가 봉인 및 로드될 때까지 기다려야 합니다.

TiDB Cloud Lake에서 확인

  1. 최소 한 번의 데이터 대기 주기를 기다립니다.
  2. TiDB Cloud Lake를 엽니다.
  3. 규칙의 Database, Warehouse 및 Target Table을 사용하여 읽기 전용 쿼리를 실행합니다.
  4. 전송 조건에 해당하는 데이터가 나타나는지 확인합니다.

행 수를 제한하는 쿼리를 먼저 사용하여 확인할 수 있습니다.

SELECT *
FROM database_name.target_table
LIMIT 10;

예제의 Database 및 Target Table을 실제 값으로 바꾸세요.

구성 결과

구성이 성공하면 다음 조건을 충족해야 합니다.

  • 규칙 상태가 활성화됨
  • Database 및 Warehouse가 Lake DSN과 일치함
  • 대상 테이블이 존재하고 쓰기 가능함
  • 하나 이상의 Parquet 배치가 성공적으로 로드됨
  • TiDB Cloud Lake에서 규칙에 해당하는 데이터를 쿼리할 수 있음

주의 사항

  • 데이터 세트는 TiDB Cloud Lake 연결 필수 항목이 아니므로 전송 대상 구성에 별도로 입력하지 않습니다. 전송 데이터 범위는 규칙의 데이터 유형과 필터 조건에 의해 결정됩니다.
  • Target Table을 변경하면 이후 로드에만 영향을 미치며, 이미 이전 테이블에 기록된 데이터는 마이그레이션되지 않습니다.
  • TiDB Cloud Lake SQL 사용자 비밀번호를 변경한 후에는 Lake DSN을 다시 가져와 규칙을 편집해야 합니다.
  • 규칙 로드가 실패하면 시스템은 실패 원인을 보관하고 재시도합니다. 권한, 연결 또는 테이블 구조 문제를 해결한 후 다시 실행할 수 있습니다.

연결 테스트, 규칙 생성 완료 또는 로드가 실패하는 경우 TiDB Cloud Lake FAQ를 참조하세요.

문서 평가

이 페이지가 도움이 되었나요?