콘텐츠로 이동

AWS S3로 데이터 전송


  1. 규칙 이름 및 필터 조건 설정을 완료합니다.
  2. 아카이브 구성을 계속 진행합니다.

구성 시작

  1. 아카이브 유형에서 AWS S3를 선택하면 일치하는 데이터가 해당 오브젝트 스토리지에 저장됨을 의미합니다.
  2. 스토리지 형식을 선택합니다.

    • Apache Iceberg를 선택한 경우 추가 구성을 완료해야 합니다.
  3. 스토리지 형식이 JSON 또는 Parquet인 경우 암호화 스토리지 여부를 선택합니다.

  4. 액세스 유형을 선택합니다.
  5. 확인을 클릭하면 생성이 완료됩니다.
주의

아카이브 유형 정보가 변경된 경우, 구성 변경으로 인해 데이터 쓰기가 실패하는 상황을 방지하기 위해 연결된 플랫폼의 구성이 동기화되어 업데이트되었는지 확인해야 합니다. 새 구성 규칙은 5분 이내에 적용됩니다.

스토리지 형식이 JSON 또는 Parquet이고 암호화 스토리지가 활성화된 경우, 파일을 다운로드하여 로컬에서 읽어야 한다면 파일 복호화를 참조하세요.

Apache Iceberg

Apache Iceberg는 개방형 테이블 형식(Open Table Format)입니다. 스토리지 형식으로 Apache Iceberg를 선택하면 Guance가 데이터를 Parquet 파일로 REST Catalog를 통해 사용자의 Iceberg 테이블에 기록하며, 데이터는 Spark, Trino, Flink 등 데이터 레이크 엔진에서 직접 읽을 수 있고 스키마 진화, 스냅샷 등 테이블 기능을 갖춥니다.

주의

Iceberg 형식은 현재 쓰기만 지원하며 Guance 내에서 아카이브 데이터를 조회할 수 없습니다. 해당 규칙은 “데이터 조회 페이지”에서 선택할 수 없습니다. 조회가 필요한 경우 외부 쿼리 엔진으로 동일한 Catalog에 연결하여 읽어야 합니다.

  1. 스토리지 형식으로 Apache Iceberg를 선택합니다(❗️선택 후 페이지에 “암호화 스토리지”와 “데이터 대기 시간” 구성 항목이 더 이상 표시되지 않습니다).
  2. Iceberg Catalog에서 Catalog Provider를 선택하고 Catalog URI와 Warehouse를 입력합니다(모두 필수). Provider마다 값 형식이 다릅니다.

    Catalog Provider Catalog URI Warehouse 값
    일반 REST Catalog REST Catalog 주소, 예: https://catalog.example.com, /v1을 수동으로 추가하지 마세요 Warehouse 스토리지 주소, 예: s3://warehouse/observability
    AWS S3 Tables https://s3tables.<region>.amazonaws.com/iceberg 전체 Table Bucket ARN, 예: arn:aws:s3tables:<region>:<account-id>:bucket/<bucket-name> (중국 리전 ARN 접두사는 arn:aws-cn)
    AWS Glue https://glue.<region>.amazonaws.com/iceberg 12자리 AWS 루트 계정 ID(IAM 사용자 ID 아님), 예: 294654068288
    • “일반 REST Catalog”를 선택한 경우 Endpoint를 선택적으로 입력할 수 있습니다. 프라이빗 클라우드 또는 사용자 정의 S3 주소로 데이터를 전송해야 하는 경우 Endpoint를 입력할 수 있습니다. 퍼블릭 클라우드 환경에서는 비워 두는 것을 권장하며, 시스템이 내부 네트워크 전송 사용 가능 여부를 자동으로 판단합니다. Endpoint를 입력하면 퍼블릭 네트워크 전송으로 과금됩니다.
  3. 대상 테이블에 Namespace(단일 레벨 네임스페이스, . 포함 불가)와 Table(테이블 이름)을 입력합니다. 테이블이 없으면 자동으로 생성되며, 데이터는 hour(date) 기준으로 자동 파티셔닝됩니다.

  4. Catalog 인증 방식을 선택하고 해당 자격 증명을 입력합니다.

    • 일반 REST Catalog는 다음 인증 방식을 지원합니다.

      • 인증 불필요: 입력할 항목이 없습니다.
      • Basic Auth: Credential(username:password)을 입력합니다.
      • Bearer Token: Token을 입력합니다.
      • OAuth2: Credential(client-id:client-secret)을 입력하고, 선택적으로 OAuth2 Server URI를 입력할 수 있으며, 입력하지 않으면 Catalog 기본 주소를 사용합니다.
    • AWS S3 Tables / AWS Glue: SigV4를 고정적으로 사용하며 추가 구성이 필요 없고, 위에서 구성한 AWS 액세스 자격 증명을 자동으로 재사용합니다.

  5. 아래 액세스 유형 설명에 따라 권한 부여 및 아카이브 정보 구성을 완료합니다.

  6. “연결 테스트”를 클릭하여 버킷과 Catalog의 연결성을 검증하고, 통과하면 확인을 클릭하여 현재 규칙을 저장합니다.

주의
  • 규칙 생성 후 스토리지 형식, 리전, Catalog URI, Warehouse, Namespace, Table은 모두 수정할 수 없습니다. 버킷과 스토리지 경로는 수정할 수 있으며, 변경 로직은 기존 규칙과 동일합니다.
  • 사용자 정의 파티션 규칙, 파일 형식, 테이블 속성 등의 구성은 현재 지원되지 않습니다.
  • 스토리지 경로 명명 규칙은 기존 규칙과 동일합니다.

액세스 유형

역할 권한 부여

  1. Guance가 기본 생성한 외부 ID를 사용하여 AWS 리소스의 제3자 액세스 권한을 구성해야 합니다.

  2. AWS에서 Guance IAM 역할 구성을 완료한 후 아카이브 정보를 입력합니다. AWS 계정 ID, AWS 역할 이름, 리전 및 버킷 이름을 입력합니다.

  3. 스토리지 경로를 입력하여 이후 데이터 전송의 구체적인 위치를 더 쉽게 구분하고 찾을 수 있도록 합니다.

  4. “연결 테스트”를 클릭하여 위 정보가 규칙을 충족하면 연결 테스트 성공이 표시됩니다. 확인을 클릭하면 현재 규칙이 저장됩니다.

스토리지 경로 명명 규칙
  1. 단일 폴더와 다중 레벨 폴더를 생성할 수 있으며, 슬래시(/)는 다중 레벨 폴더 생성을 의미합니다.
  2. 폴더 이름은 슬래시(/)로 시작하거나 끝날 수 없습니다.
  3. 연속된 슬래시(/)를 두 개 이상 포함할 수 없습니다.
  4. 모든 액세스 유형에 적용됩니다.
주의
  • 입력한 폴더가 존재하지 않으면 Guance가 직접 생성하며, 데이터는 여전히 해당 경로에 저장됩니다.
  • 스토리지 경로 변경 시 주의하세요. 구성 업데이트에 약 5분의 지연이 있어 변경 후 일부 데이터가 여전히 원래 디렉터리로 전송될 수 있습니다.
테스트에 실패한 경우:

다음을 확인해야 합니다.

  • 외부 ID가 만료되었는지
  • 계정 ID가 올바른지
  • 계정 역할이 존재하는지
  • 버킷이 존재하는지
  • 리전이 일치하지 않는지

다음 상황에서는 신중하게 작업해야 합니다:

  • 외부 ID 재생성을 클릭하면 기존 ID는 24시간 후 만료되므로, 가능한 한 빨리 AWS 콘솔에서 교체하세요.
  • 외부 ID 생성은 여러 번 클릭하지 마세요. 신중하게 작업하시기 바랍니다!

Access Keys

  1. AWS 리소스 권한 부여 템플릿을 다운로드한 후 AWS에서 Guance IAM 정책 구성을 진행합니다.
  2. 구성이 완료되면 계정 정보를 입력합니다. AWS AK & SK, 리전 및 Bucket 이름을 입력합니다.
  3. 스토리지 경로를 입력하여 이후 데이터 전송의 구체적인 위치를 더 쉽게 구분하고 찾을 수 있도록 합니다.
  4. “연결 테스트”를 클릭하여 위 정보가 규칙을 충족하면 연결 테스트 성공이 표시됩니다.
테스트에 실패한 경우:

다음을 확인해야 합니다.

  • 계정 ID가 올바른지
  • AK / SK가 존재하는지
  • 버킷이 존재하는지
  • 리전이 일치하지 않는지

계정 권한 부여

  1. AWS는 교차 계정 권한 부여 기능을 제공합니다. Guance 전용 계정 ID를 사용하고 구성 설명에 따라 교차 계정 액세스 권한 부여 정책을 추가해야 합니다.

  2. 구성이 완료되면 리전을 선택하고 버킷 이름을 입력합니다.

  3. 스토리지 경로를 입력하여 이후 데이터 전송의 구체적인 위치를 더 쉽게 구분하고 찾을 수 있도록 합니다.

  4. “연결 테스트”를 클릭하여 위 정보가 규칙을 충족하면 연결 테스트 성공이 표시됩니다. 확인을 클릭하면 현재 규칙이 저장됩니다.

테스트에 실패한 경우:

다음을 확인해야 합니다.

  • 계정 ID가 올바른지
  • 버킷이 존재하는지
  • 리전이 일치하지 않는지

데이터 대기 시간

데이터는 먼저 로컬 임시 파일에 기록되며, 파일 크기가 256 MB에 도달하거나 대기 시간이 설정값에 도달하면 시스템이 자동으로 압축하여 업로드합니다. 실제 요구에 따라 대기 시간을 15분, 30분, 1시간으로 조정할 수 있습니다.

  • 짧게 설정하면 다운스트림 데이터 지연이 낮아지지만 더 많은 파일이 생성됩니다.
  • 길게 설정하면 파일 수가 줄어들지만 다운스트림 데이터 지연이 그에 따라 증가합니다.
주의

스토리지 형식이 Apache Iceberg인 경우 이 구성은 해당되지 않습니다.

다음 단계

현재 전송 규칙의 데이터 조회 권한 구성을 계속 진행합니다.

주의

스토리지 형식이 Apache Iceberg인 경우 현재 쓰기만 지원하므로 데이터 조회 권한을 구성할 필요가 없습니다.

문서 평가

이 페이지가 도움이 되었나요?