콘텐츠로 이동

AWS Firehose

AWS Firehose 지표 정보 수집

설정

Func 설치

Guance 통합 - 확장 - 관리형 Func를 여는 것을 권장합니다. 사전 조건은 모두 자동으로 설치되므로, 스크립트 설치를 계속 진행하세요.

Func를 직접 배포하는 경우 Func 직접 배포를 참고하세요

설치 스크립트

안내: 요구사항에 맞는 Amazon AK를 미리 준비해 주세요. (간단히 하려면 전역 읽기 전용 권한 ReadOnlyAccess를 직접 부여해도 됩니다)

관리형 개통 스크립트

  1. Guance 콘솔에 로그인합니다.
  2. 【통합】 메뉴를 클릭하고 【클라우드 계정 관리】를 선택합니다.
  3. 【클라우드 계정 추가】를 클릭하고 【AWS】를 선택한 뒤, 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 설정했다면 이 단계를 건너뜁니다.
  4. 【테스트】를 클릭한 뒤 테스트가 성공하면 【저장】을 클릭합니다. 테스트에 실패하면 관련 설정이 올바른지 확인한 후 다시 테스트합니다.
  5. 【클라우드 계정 관리】 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭하여 상세 페이지로 들어갑니다.
  6. 클라우드 계정 상세 페이지의 【통합】 버튼을 클릭한 뒤, 미설치 목록에서 AWS Firehose를 찾아 【설치】를 클릭하면 설치 화면이 뜨며, 그곳에서 설치하면 됩니다.

수동 개통 스크립트

  1. Func 콘솔에 로그인한 뒤 【스크립트 마켓】을 클릭하여 Guance 스크립트 마켓으로 들어가 aws_firehose를 검색합니다.

  2. 【설치】를 클릭한 후 필요한 매개변수인 AWS AK ID, AK Secret 및 계정명을 입력합니다.

  3. 【시작 스크립트 배포】를 클릭하면 시스템이 자동으로 Startup 스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다.

  4. 활성화한 뒤 「관리 / 자동 트리거 설정」에서 해당 자동 트리거 설정을 확인할 수 있습니다. 【실행】을 클릭하면 주기 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다.

검증

  1. 「관리 / 자동 트리거 설정」에서 해당 작업에 대한 자동 트리거 설정이 존재하는지 확인하고, 동시에 해당 작업 기록 및 로그를 확인하여 이상이 있는지 점검합니다.
  2. Guance의 「인프라 / 사용자 정의」에서 자산 정보가 있는지 확인합니다.
  3. Guance의 「지표」에서 해당 모니터링 데이터가 있는지 확인합니다.

지표

Amazon CloudWatch 설정을 완료하면 기본 지표 집합은 아래와 같습니다. 설정을 통해 더 많은 지표를 수집할 수 있습니다:

Amazon CloudWatch AWS Firehose 지표 상세

AWS Firehose

Amazon Redshift로 전송

지표 설명
DeliveryToRedshift.Bytes 지정된 시간 동안 Amazon Redshift로 복사된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToRedshift.Records 지정된 시간 동안 Amazon Redshift로 복사된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToRedshift.Success 성공한 Amazon Redshift COPY 명령의 합계입니다.

Amazon S3로 전송(주요 대상)

지표 설명
DeliveryToS3.Bytes 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToS3.Records 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success 성공한 Amazon S3 put 명령의 합계입니다.
BackupToS3.Bytes 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Samples. 단위: 초
BackupToS3.Records 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Success 성공한 Amazon S3 백업 put 명령의 합계입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다).

Snowflake로 전송

지표 설명
DeliveryToSnowflake.Bytes 지정된 시간 동안 Snowflake로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToSnowflake.DataFreshness Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이 시간보다 오래된 레코드는 Snowflake로 전달되었습니다. Firehose 삽입 호출이 성공한 후 데이터가 Snowflake에 커밋되기까지 몇 초가 걸릴 수 있습니다. Snowflake에 데이터를 커밋하는 데 걸리는 시간은 DeliveryToSnowflake.DataCommitLatency 지표를 참고하세요. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSnowflake.DataCommitLatency Firehose가 레코드 삽입에 성공한 후 데이터를 Snowflake에 커밋하는 데 걸리는 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSnowflake.Records 지정된 시간 동안 Snowflake로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToSnowflake.Success Snowflake에 대한 성공적인 삽입 호출의 합계입니다.
DeliveryToS3.Bytes (Snowflake 실패 백업) 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToS3.Records (Snowflake 실패 백업) 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success (Snowflake 실패 백업) 성공한 Amazon S3 put 명령의 합계입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다.
BackupToS3.DataFreshness (Snowflake 전체 백업) Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
BackupToS3.Records (Snowflake 전체 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Bytes (Snowflake 전체 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Success (Snowflake 전체 백업) 성공한 Amazon S3 백업 put 명령의 합계입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 Firehose가 이 지표를 발행합니다.

Splunk로 전송

지표 설명
DeliveryToSplunk.Bytes 지정된 시간 동안 Splunk로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToSplunk.DataAckLatency Amazon Data Firehose가 Splunk에 데이터를 보낸 후, Splunk가 확인 응답을 반환하기까지의 대략적인 시간입니다. 이 지표는 절대적인 근사값보다 증가 또는 감소 추세가 더 유용합니다. 증가 추세는 Splunk 인덱서의 색인 및 확인 속도가 느리다는 것을 의미할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSplunk.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Splunk로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSplunk.Records 지정된 시간 동안 Splunk로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToSplunk.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToS3.Success (Splunk 백업) 성공한 Amazon S3 put 명령의 합계입니다. Amazon S3 백업이 활성화되어 있을 때 이 지표가 발행됩니다.
BackupToS3.Bytes (Splunk 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수

HTTP 엔드포인트로 전송

지표 설명
DeliveryToHttpEndpoint.Bytes HTTP 엔드포인트로 성공적으로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToHttpEndpoint.Records HTTP 엔드포인트로 성공적으로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToHttpEndpoint.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToHttpEndpoint.Success HTTP 엔드포인트로 데이터를 성공적으로 전송한 모든 요청의 합계입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToHttpEndpoint.ProcessedBytes 재시도 횟수를 포함하여 처리하려고 시도한 바이트 수입니다.
DeliveryToHttpEndpoint.ProcessedRecords 재시도 횟수를 포함하여 시도한 레코드 수입니다.

OpenSearch 서비스로 전송

지표 설명
DeliveryToAmazonOpenSearchService.Bytes 지정된 시간 동안 OpenSearch Service에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToAmazonOpenSearchService.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Service로 전달되었습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 초
DeliveryToAmazonOpenSearchService.Records 지정된 시간 동안 OpenSearch Service에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToAmazonOpenSearchService.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToAmazonOpenSearchService.AuthFailure 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다.
DeliveryToAmazonOpenSearchService.DeliveryRejected 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다.

Amazon S3

지표 설명
DeliveryToS3.Bytes 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 단위: 초
DeliveryToS3.Records 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success 성공한 Amazon S3 put 명령의 합계입니다. 실패한 문서만 백업하든 모든 문서를 백업하든 상관없이 Amazon Data Firehose는 항상 이 지표를 발행합니다.

OpenSearch Serverless로 전송

지표 설명
DeliveryToAmazonOpenSearchServerless.Bytes 지정된 시간 동안 OpenSearch Serverless에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToAmazonOpenSearchServerless.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Serverless로 전달되었습니다. 단위: 초
DeliveryToAmazonOpenSearchServerless.Records 지정된 시간 동안 OpenSearch Serverless에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToAmazonOpenSearchServerless.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToAmazonOpenSearchServerless.AuthFailure 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다.
DeliveryToAmazonOpenSearchServerless.DeliveryRejected 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다.

문서 평가

이 페이지가 도움이 되었나요?