AWS S3로 데이터 전송¶

1. 규칙 이름 및 필터 조건 설정을 완료합니다.
2. 보관 설정을 계속 진행합니다.

설정 단계¶

1. 보관 유형으로 AWS S3를 선택합니다. 즉, 일치하는 데이터를 해당 오브젝트 스토리지에 저장합니다.

2. 저장 형식을 선택합니다.

   • Apache Iceberg를 선택한 경우 추가 구성을 완료해야 합니다.

3. 암호화 저장 여부를 선택합니다.

4. 액세스 유형을 선택합니다.
5. 확인을 클릭하면 생성이 완료됩니다.

Apache Iceberg¶

Apache Iceberg는 개방형 테이블 형식(Open Table Format)입니다. 저장 형식으로 Apache Iceberg를 선택하면 Guance는 REST Catalog를 통해 데이터를 Parquet 파일로 사용자의 Iceberg 테이블에 씁니다. 데이터는 Spark, Trino, Flink 등 데이터 레이크 엔진에서 직접 읽을 수 있으며, 스키마 진화, 스냅샷 등의 테이블 기능을 제공합니다.

1. 저장 형식으로 Apache Iceberg를 선택합니다. (❗️선택 후 페이지에 "암호화 저장" 및 "데이터 대기 시간" 설정 항목이 표시되지 않습니다.)

2. Iceberg Catalog에서 Catalog Provider를 선택하고, Catalog URI와 Warehouse(모두 필수 입력)를 입력합니다. Provider별 값 형식이 다릅니다.

   Catalog Provider	Catalog URI	Warehouse 값
   범용 REST Catalog	REST Catalog 주소(예: https://catalog.example.com), /v1을 수동으로 추가하지 마십시오.	Warehouse 저장소 주소(예: s3://warehouse/observability)
   AWS S3 Tables	https://s3tables.<region>.amazonaws.com/iceberg	전체 Table Bucket ARN(예: arn:aws:s3tables:<region>:<account-id>:bucket/<bucket-name>). 중국 리전의 ARN 접두사는 arn:aws-cn입니다.
   AWS Glue	https://glue.<region>.amazonaws.com/iceberg	12자리 AWS 기본 계정 ID(IAM 사용자 ID 아님, 예: 294654068288)

   • "범용 REST Catalog"를 선택한 경우 Endpoint를 선택적으로 입력할 수 있습니다. 프라이빗 클라우드 또는 사용자 정의 S3 주소로 데이터를 전송해야 하는 경우 Endpoint를 입력합니다. 퍼블릭 클라우드 시나리오에서는 비워 두는 것이 좋습니다. 시스템이 자동으로 내부 네트워크 전송 사용 가능 여부를 판단합니다. Endpoint를 입력하면 공용 네트워크 전송 기준으로 요금이 부과됩니다.

3. 대상 테이블에서 Namespace(단일 계층 네임스페이스, . 포함 불가)와 Table(테이블 이름)을 입력합니다. 테이블이 없으면 자동으로 생성되며, 데이터는 hour(date)로 자동 파티셔닝됩니다.

4. Catalog 인증 방식을 선택하고 해당 자격 증명을 입력합니다.

   • 범용 REST Catalog는 다음 인증 방식을 지원합니다.

     • 인증 없음: 입력할 필요 없음.
     • Basic Auth: Credential(username:password) 입력.
     • Bearer Token: Token 입력.
     • OAuth2: Credential(client-id:client-secret) 입력, OAuth2 Server URI는 선택 사항이며, 입력하지 않으면 Catalog 기본 주소를 사용합니다.

   • AWS S3 Tables / AWS Glue: SigV4로 고정되며, 추가 구성이 필요하지 않습니다. 위에서 구성한 AWS 액세스 자격 증명을 자동으로 재사용합니다.

5. 아래 액세스 유형 설명에 따라 권한 부여 및 보관 정보 구성을 완료합니다.

6. "연결 테스트"를 클릭하여 스토리지 버킷과 Catalog의 연결을 확인합니다. 통과하면 확인을 클릭하여 현재 규칙을 저장합니다.

액세스 유형¶

역할 권한 부여¶

1. Guance에서 기본 생성한 외부 ID를 사용하여 AWS 리소스에 대한 타사 액세스 권한을 구성해야 합니다.
2. AWS에서 Guance IAM 역할을 구성한 후, 보관 정보를 입력합니다. AWS 계정 ID, AWS 역할 이름, 리전 및 스토리지 버킷 이름을 입력합니다.
3. 저장 경로를 입력하여 데이터 전송의 특정 위치를 추후에 더 쉽게 구분하고 찾을 수 있도록 합니다.
4. "연결 테스트"를 클릭합니다. 위 정보가 규칙을 충족하면 연결 테스트 성공 메시지가 표시됩니다. 확인을 클릭하여 현재 규칙을 저장할 수 있습니다.

저장 경로 명명 규칙¶

1. 단일 폴더 및 여러 계층의 폴더를 생성할 수 있습니다. 슬래시(/)는 여러 계층의 폴더를 생성함을 의미합니다.
2. 폴더 이름은 슬래시(/)로 시작하거나 끝날 수 없습니다.
3. 두 개 이상의 연속된 슬래시(/)를 포함할 수 없습니다.
4. 모든 액세스 유형에 적용됩니다.

Access Keys¶

1. AWS 리소스 권한 부여 템플릿을 다운로드하고, AWS로 이동하여 Guance IAM 정책을 구성합니다.
2. 구성이 완료되면 계정 정보를 입력합니다. AWS AK & SK, 리전 및 버킷 이름을 입력합니다.
3. 저장 경로를 입력하여 데이터 전송의 특정 위치를 추후에 더 쉽게 구분하고 찾을 수 있도록 합니다.
4. "연결 테스트"를 클릭합니다. 위 정보가 규칙을 충족하면 연결 테스트 성공 메시지가 표시됩니다.

계정 권한 부여¶

1. AWS는 계정 간 권한 부여 기능을 제공합니다. Guance 전용 계정 ID를 사용하여 구성 설명에 따라 계정 간 액세스 권한 부여 정책을 추가해야 합니다.
2. 구성이 완료되면 리전을 선택하고 스토리지 버킷 이름을 입력합니다.
3. 저장 경로를 입력하여 데이터 전송의 특정 위치를 추후에 더 쉽게 구분하고 찾을 수 있도록 합니다.
4. "연결 테스트"를 클릭합니다. 위 정보가 규칙을 충족하면 연결 테스트 성공 메시지가 표시됩니다. 확인을 클릭하여 현재 규칙을 저장할 수 있습니다.

데이터 대기 시간¶

데이터는 먼저 로컬 임시 파일에 기록됩니다. 파일 크기가 256MB에 도달하거나 대기 시간이 설정된 값에 도달하면 시스템이 자동으로 압축하여 업로드합니다. 실제 필요에 따라 대기 시간을 15분, 30분, 1시간 중에서 조정할 수 있습니다.

• 짧게 설정하면 다운스트림 데이터 지연 시간이 줄어들지만 더 많은 파일이 생성됩니다.
• 길게 설정하면 파일 수가 줄어들지만 다운스트림 데이터 지연 시간이 증가합니다.

다음 단계¶

현재 전송 규칙에 대한 데이터 보기 권한을 계속 구성합니다.