AWS Firehose¶
AWS Firehose 지표 정보 수집
설정¶
Func 설치¶
Guance 통합 - 확장 - 관리형 Func를 여는 것을 권장합니다. 사전 조건은 모두 자동으로 설치되므로, 스크립트 설치를 계속 진행하세요.
Func를 직접 배포하는 경우 Func 직접 배포를 참고하세요
설치 스크립트¶
안내: 요구사항에 맞는 Amazon AK를 미리 준비해 주세요. (간단히 하려면 전역 읽기 전용 권한
ReadOnlyAccess를 직접 부여해도 됩니다)
관리형 개통 스크립트¶
- Guance 콘솔에 로그인합니다.
- 【통합】 메뉴를 클릭하고 【클라우드 계정 관리】를 선택합니다.
- 【클라우드 계정 추가】를 클릭하고 【AWS】를 선택한 뒤, 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 설정했다면 이 단계를 건너뜁니다.
- 【테스트】를 클릭한 뒤 테스트가 성공하면 【저장】을 클릭합니다. 테스트에 실패하면 관련 설정이 올바른지 확인한 후 다시 테스트합니다.
- 【클라우드 계정 관리】 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭하여 상세 페이지로 들어갑니다.
- 클라우드 계정 상세 페이지의 【통합】 버튼을 클릭한 뒤,
미설치목록에서AWS Firehose를 찾아 【설치】를 클릭하면 설치 화면이 뜨며, 그곳에서 설치하면 됩니다.
수동 개통 스크립트¶
-
Func 콘솔에 로그인한 뒤 【스크립트 마켓】을 클릭하여 Guance 스크립트 마켓으로 들어가
aws_firehose를 검색합니다. -
【설치】를 클릭한 후 필요한 매개변수인 AWS AK ID, AK Secret 및 계정명을 입력합니다.
-
【시작 스크립트 배포】를 클릭하면 시스템이 자동으로
Startup스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다. -
활성화한 뒤 「관리 / 자동 트리거 설정」에서 해당 자동 트리거 설정을 확인할 수 있습니다. 【실행】을 클릭하면 주기 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다.
검증¶
- 「관리 / 자동 트리거 설정」에서 해당 작업에 대한 자동 트리거 설정이 존재하는지 확인하고, 동시에 해당 작업 기록 및 로그를 확인하여 이상이 있는지 점검합니다.
- Guance의 「인프라 / 사용자 정의」에서 자산 정보가 있는지 확인합니다.
- Guance의 「지표」에서 해당 모니터링 데이터가 있는지 확인합니다.
지표¶
Amazon CloudWatch 설정을 완료하면 기본 지표 집합은 아래와 같습니다. 설정을 통해 더 많은 지표를 수집할 수 있습니다:
Amazon CloudWatch AWS Firehose 지표 상세
AWS Firehose¶
Amazon Redshift로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToRedshift.Bytes | 지정된 시간 동안 Amazon Redshift로 복사된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToRedshift.Records | 지정된 시간 동안 Amazon Redshift로 복사된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToRedshift.Success | 성공한 Amazon Redshift COPY 명령의 합계입니다. |
Amazon S3로 전송(주요 대상)¶
| 지표 | 설명 |
|---|---|
| DeliveryToS3.Bytes | 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToS3.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToS3.Records | 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToS3.Success | 성공한 Amazon S3 put 명령의 합계입니다. |
| BackupToS3.Bytes | 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| BackupToS3.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| BackupToS3.Records | 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| BackupToS3.Success | 성공한 Amazon S3 백업 put 명령의 합계입니다. 백업을 활성화하면 Amazon Data Firehose가 이 지표를 발행합니다(데이터 변환도 함께 활성화된 경우에만 가능합니다). |
Snowflake로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToSnowflake.Bytes | 지정된 시간 동안 Snowflake로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToSnowflake.DataFreshness | Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이 시간보다 오래된 레코드는 Snowflake로 전달되었습니다. Firehose 삽입 호출이 성공한 후 데이터가 Snowflake에 커밋되기까지 몇 초가 걸릴 수 있습니다. Snowflake에 데이터를 커밋하는 데 걸리는 시간은 DeliveryToSnowflake.DataCommitLatency 지표를 참고하세요. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToSnowflake.DataCommitLatency | Firehose가 레코드 삽입에 성공한 후 데이터를 Snowflake에 커밋하는 데 걸리는 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToSnowflake.Records | 지정된 시간 동안 Snowflake로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToSnowflake.Success | Snowflake에 대한 성공적인 삽입 호출의 합계입니다. |
| DeliveryToS3.Bytes (Snowflake 실패 백업) | 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToS3.Records (Snowflake 실패 백업) | 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToS3.Success (Snowflake 실패 백업) | 성공한 Amazon S3 put 명령의 합계입니다. Snowflake 전송이 실패하고 Firehose가 실패한 데이터를 S3로 백업하려고 시도할 때만 이 지표를 사용할 수 있습니다. |
| BackupToS3.DataFreshness (Snowflake 전체 백업) | Firehose에서 가장 오래된 레코드의 경과 시간입니다( Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Amazon S3 버킷으로 백업되었습니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| BackupToS3.Records (Snowflake 전체 백업) | 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 레코드 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| BackupToS3.Bytes (Snowflake 전체 백업) | 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 이 지표를 사용할 수 있습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| BackupToS3.Success (Snowflake 전체 백업) | 성공한 Amazon S3 백업 put 명령의 합계입니다. Firehose 스트림이 모든 데이터를 백업하도록 구성된 경우 Firehose가 이 지표를 발행합니다. |
Splunk로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToSplunk.Bytes | 지정된 시간 동안 Splunk로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToSplunk.DataAckLatency | Amazon Data Firehose가 Splunk에 데이터를 보낸 후, Splunk가 확인 응답을 반환하기까지의 대략적인 시간입니다. 이 지표는 절대적인 근사값보다 증가 또는 감소 추세가 더 유용합니다. 증가 추세는 Splunk 인덱서의 색인 및 확인 속도가 느리다는 것을 의미할 수 있습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToSplunk.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 Splunk로 전달되었습니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToSplunk.Records | 지정된 시간 동안 Splunk로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToSplunk.Success | 성공적으로 색인된 레코드의 합계입니다. |
| DeliveryToS3.Success (Splunk 백업) | 성공한 Amazon S3 put 명령의 합계입니다. Amazon S3 백업이 활성화되어 있을 때 이 지표가 발행됩니다. |
| BackupToS3.Bytes (Splunk 백업) | 지정된 시간 동안 백업을 위해 Amazon S3로 전송된 바이트 수입니다. Firehose 스트림이 모든 문서를 백업하도록 구성된 경우 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
HTTP 엔드포인트로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToHttpEndpoint.Bytes | HTTP 엔드포인트로 성공적으로 전송된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToHttpEndpoint.Records | HTTP 엔드포인트로 성공적으로 전송된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToHttpEndpoint.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다. 통계: Minimum, Maximum, Average, Samples. 단위: 초 |
| DeliveryToHttpEndpoint.Success | HTTP 엔드포인트로 데이터를 성공적으로 전송한 모든 요청의 합계입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToHttpEndpoint.ProcessedBytes | 재시도 횟수를 포함하여 처리하려고 시도한 바이트 수입니다. |
| DeliveryToHttpEndpoint.ProcessedRecords | 재시도 횟수를 포함하여 시도한 레코드 수입니다. |
OpenSearch 서비스로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToAmazonOpenSearchService.Bytes | 지정된 시간 동안 OpenSearch Service에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToAmazonOpenSearchService.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Service로 전달되었습니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 초 |
| DeliveryToAmazonOpenSearchService.Records | 지정된 시간 동안 OpenSearch Service에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToAmazonOpenSearchService.Success | 성공적으로 색인된 레코드의 합계입니다. |
| DeliveryToAmazonOpenSearchService.AuthFailure | 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다. |
| DeliveryToAmazonOpenSearchService.DeliveryRejected | 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다. |
Amazon S3¶
| 지표 | 설명 |
|---|---|
| DeliveryToS3.Bytes | 지정된 시간 동안 Amazon S3로 전송된 바이트 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToS3.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 S3 버킷으로 전달되었습니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 단위: 초 |
| DeliveryToS3.Records | 지정된 시간 동안 Amazon S3로 전송된 레코드 수입니다. 모든 문서에 대한 백업을 활성화한 경우에만 Amazon Data Firehose가 이 지표를 발행합니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToS3.Success | 성공한 Amazon S3 put 명령의 합계입니다. 실패한 문서만 백업하든 모든 문서를 백업하든 상관없이 Amazon Data Firehose는 항상 이 지표를 발행합니다. |
OpenSearch Serverless로 전송¶
| 지표 | 설명 |
|---|---|
| DeliveryToAmazonOpenSearchServerless.Bytes | 지정된 시간 동안 OpenSearch Serverless에 색인된 바이트 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 바이트 |
| DeliveryToAmazonOpenSearchServerless.DataFreshness | Amazon Data Firehose에서 가장 오래된 레코드의 경과 시간입니다( Amazon Data Firehose에 들어온 시점부터 현재까지). 이보다 오래된 레코드는 OpenSearch Serverless로 전달되었습니다. 단위: 초 |
| DeliveryToAmazonOpenSearchServerless.Records | 지정된 시간 동안 OpenSearch Serverless에 색인된 레코드 수입니다. 통계: Minimum, Maximum, Average, Sum, Samples. 단위: 개수 |
| DeliveryToAmazonOpenSearchServerless.Success | 성공적으로 색인된 레코드의 합계입니다. |
| DeliveryToAmazonOpenSearchServerless.AuthFailure | 인증/인가 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 인증 실패를 의미합니다. |
| DeliveryToAmazonOpenSearchServerless.DeliveryRejected | 전송 거부 오류입니다. OS/ES 클러스터 정책과 역할 권한을 확인하세요. 0은 문제가 없음을 의미합니다. 1은 전송 실패를 의미합니다. |