콘텐츠로 이동

AWS Firehose

AWS Firehose 지표 정보 수집

구성

Func 설치

Guance 통합 - 확장 - 호스팅 Func를 활성화하는 것을 권장합니다. 모든 사전 요구 사항이 자동으로 설치되므로 스크립트 설치를 진행하세요.

Func를 직접 배포하려면 자체 호스팅 Func를 참조하세요.

스크립트 설치

안내: 요구 사항에 맞는 Amazon AK를 미리 준비해 주세요. (간단히 하려면 전역 읽기 전용 권한 ReadOnlyAccess를 직접 부여해도 됩니다)

호스팅 버전 스크립트 활성화

  1. Guance 콘솔에 로그인합니다
  2. [통합] 메뉴를 클릭하고 [클라우드 계정 관리]를 선택합니다
  3. [클라우드 계정 추가]를 클릭하고 [AWS]를 선택한 뒤 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보가 이미 설정되어 있다면 이 단계를 건너뜁니다
  4. [테스트]를 클릭하고, 테스트에 성공하면 [저장]을 클릭합니다. 테스트에 실패하면 관련 설정이 올바른지 확인한 뒤 다시 테스트합니다
  5. [클라우드 계정 관리] 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭해 상세 페이지로 이동합니다
  6. 클라우드 계정 상세 페이지의 【통합】 버튼을 클릭한 뒤, 미설치 목록에서 AWS Firehose를 찾아 【설치】를 클릭하면 설치 화면이 뜨며, 그곳에서 설치하면 됩니다.

수동 스크립트 활성화

  1. Func 콘솔에 로그인한 뒤 【스크립트 마켓】을 클릭하여 Guance 스크립트 마켓으로 들어가 aws_firehose를 검색합니다.

  2. [설치]를 클릭한 뒤 다음 파라미터를 입력합니다. AWS AK ID, AK Secret, 계정명.

  3. [배포 시작 스크립트]를 클릭하면 시스템이 자동으로 Startup 스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다.

  4. 활성화 후에는 [관리 / 자동 트리거 설정]에서 해당 자동 트리거 구성을 확인할 수 있습니다. [실행]을 클릭하면 예약 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다.

검증

  1. [관리 / 자동 트리거 구성]에서 해당 작업의 자동 트리거 구성이 있는지 확인하고 작업 기록과 로그에서 이상 여부를 점검합니다.
  2. Guance의 [인프라 / 사용자 정의]에서 자산 정보가 있는지 확인합니다.
  3. Guance의 [메트릭]에서 해당 모니터링 데이터가 있는지 확인합니다.

메트릭

Amazon CloudWatch 설정을 완료하면 기본 지표 집합은 아래와 같습니다. 설정을 통해 더 많은 지표를 수집할 수 있습니다:

Amazon CloudWatch AWS Firehose 지표 상세

AWS Firehose

전송 스트림 관리

지표 설명
DescribeDeliveryStream.Latency DescribeDeliveryStream 작업 소요 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 밀리초.
DescribeDeliveryStream.Requests DescribeDeliveryStream 요청 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수.
ListDeliveryStreams.Latency ListDeliveryStreams 작업 소요 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 밀리초.
ListDeliveryStreams.Requests ListDeliveryStreams 요청 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수.

데이터 쓰기

지표 설명
PutRecordBatch.Bytes PutRecordBatch를 통해 전송 스트림에 쓴 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트.
PutRecordBatch.Latency PutRecordBatch 작업 소요 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 밀리초.

Amazon Redshift로 전송

지표 설명
DeliveryToRedshift.Bytes 지정된 시간 동안 Amazon Redshift로 복사된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToRedshift.Records 지정된 시간 동안 Amazon Redshift로 복사된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToRedshift.Success 성공한 Amazon Redshift COPY 명령의 합계입니다.

Amazon S3로 전송(주요 대상)

지표 설명
DeliveryToS3.Bytes 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToS3.Records 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success 성공한 Amazon S3 put 명령의 합계입니다.
BackupToS3.Bytes 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Samples. 단위: 초
BackupToS3.Records 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Success 성공한 Amazon S3 백업 put 명령의 합계입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다).

Snowflake로 전송

지표 설명
DeliveryToSnowflake.Bytes 지정된 시간 동안 Snowflake로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToSnowflake.DataFreshness Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이 시간보다 오래된 레코드는 Snowflake로 전달되었습니다. Firehose 삽입 호출이 성공한 후 데이터가 Snowflake에 커밋되기까지 몇 초가 걸릴 수 있습니다. Snowflake에 데이터를 커밋하는 데 걸리는 시간은 DeliveryToSnowflake.DataCommitLatency 지표를 참고하세요. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSnowflake.DataCommitLatency Firehose가 레코드 삽입에 성공한 후 데이터를 Snowflake에 커밋하는 데 걸리는 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSnowflake.Records 지정된 시간 동안 Snowflake로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToSnowflake.Success Snowflake에 대한 성공적인 삽입 호출의 합계입니다.
DeliveryToS3.Bytes (Snowflake 실패 백업) 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToS3.Records (Snowflake 실패 백업) 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success (Snowflake 실패 백업) 성공한 Amazon S3 put 명령의 합계입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다.
BackupToS3.DataFreshness (Snowflake 전체 백업) Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
BackupToS3.Records (Snowflake 전체 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Bytes (Snowflake 전체 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
BackupToS3.Success (Snowflake 전체 백업) 성공한 Amazon S3 백업 put 명령의 합계입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 Firehose가 이 지표를 발행합니다.

Splunk로 전송

지표 설명
DeliveryToSplunk.Bytes 지정된 시간 동안 Splunk로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToSplunk.DataAckLatency Amazon Data Firehose가 Splunk에 데이터를 보낸 후, Splunk가 확인 응답을 반환하기까지의 대략적인 시간입니다. 이 지표는 절대적인 근사값보다 증가 또는 감소 추세가 더 유용합니다. 증가 추세는 Splunk 인덱서의 색인 및 확인 속도가 느리다는 것을 의미할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSplunk.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Splunk로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToSplunk.Records 지정된 시간 동안 Splunk로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToSplunk.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToS3.Success (Splunk 백업) 성공한 Amazon S3 put 명령의 합계입니다. Amazon S3 백업이 활성화되어 있을 때 이 지표가 발행됩니다.
BackupToS3.Bytes (Splunk 백업) 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수

HTTP 엔드포인트로 전송

지표 설명
DeliveryToHttpEndpoint.Bytes HTTP 엔드포인트로 성공적으로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToHttpEndpoint.Records HTTP 엔드포인트로 성공적으로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToHttpEndpoint.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초
DeliveryToHttpEndpoint.Success HTTP 엔드포인트로 데이터를 성공적으로 전송한 모든 요청의 합계입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToHttpEndpoint.ProcessedBytes 재시도 횟수를 포함하여 처리하려고 시도한 바이트 수입니다.
DeliveryToHttpEndpoint.ProcessedRecords 재시도 횟수를 포함하여 시도한 레코드 수입니다.

OpenSearch 서비스로 전송

지표 설명
DeliveryToAmazonOpenSearchService.Bytes 지정된 시간 동안 OpenSearch Service에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToAmazonOpenSearchService.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Service로 전달되었습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 초
DeliveryToAmazonOpenSearchService.Records 지정된 시간 동안 OpenSearch Service에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToAmazonOpenSearchService.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToAmazonOpenSearchService.AuthFailure 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다.
DeliveryToAmazonOpenSearchService.DeliveryRejected 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다.

Amazon S3

지표 설명
DeliveryToS3.Bytes 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 단위: 초
DeliveryToS3.Records 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToS3.Success 성공한 Amazon S3 put 명령의 합계입니다. 실패한 문서만 백업하든 모든 문서를 백업하든 상관없이 Amazon Data Firehose는 항상 이 지표를 발행합니다.

OpenSearch Serverless로 전송

지표 설명
DeliveryToAmazonOpenSearchServerless.Bytes 지정된 시간 동안 OpenSearch Serverless에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트
DeliveryToAmazonOpenSearchServerless.DataFreshness Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Serverless로 전달되었습니다. 단위: 초
DeliveryToAmazonOpenSearchServerless.Records 지정된 시간 동안 OpenSearch Serverless에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수
DeliveryToAmazonOpenSearchServerless.Success 성공적으로 색인된 레코드의 합계입니다.
DeliveryToAmazonOpenSearchServerless.AuthFailure 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다.
DeliveryToAmazonOpenSearchServerless.DeliveryRejected 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다.

문서 평가

이 페이지가 도움이 되었나요?