GCP Dataflow¶
GCP Dataflow 지표 수집.
구성¶
Func 설치¶
Guance의 통합 - 확장 - 관리형 Func를 활성화하는 것이 좋습니다. 모든 필수 조건이 자동으로 설치되므로 스크립트 설치를 계속 진행하세요.
Func를 직접 배포하는 경우 Func 직접 배포를 참고하세요.
스크립트 설치¶
- Func 콘솔에 로그인하고 [스크립트 마켓]을 클릭하여 Guance 스크립트 마켓을 연 다음
integration_gcp_dataflow를 검색합니다. - [설치]를 클릭하고 계정 파일 이름, Target Principal, 계정 이름을 입력합니다.
- [시작 스크립트 배포]를 클릭합니다. 시스템이
Startup스크립트 세트를 만들고 관련 시작 스크립트를 자동으로 구성합니다. - 활성화한 후 「관리 / 자동 트리거 구성」에서 관련 자동 트리거 구성을 확인할 수 있습니다. [실행]을 클릭하여 즉시 한 번 실행한 다음 작업 기록과 로그를 확인합니다.
검증¶
- 「관리 / 자동 트리거 구성」에서 관련 작업이 있는지 확인하고 작업 기록과 로그에 오류가 없는지 점검합니다.
- Guance의 「인프라 / 사용자 정의」에서 관련 자산 정보가 있는지 확인합니다.
- Guance의 「지표」에서 관련 지표 집합과 모니터링 데이터가 있는지 확인합니다.
지표¶
GCP Dataflow 지표는 gcp_dataflow 지표 집합에 저장되며 원시 지표는 Cloud Monitoring의 dataflow.googleapis.com/ 네임스페이스에서 가져옵니다. 다음 표에는 주요 지표가 나와 있습니다. 전체 목록은 GCP Dataflow 지표를 참고하세요.
| 지표 | 원시 지표 | 설명 | 단위 |
|---|---|---|---|
| job_active_worker_instances | job/active_worker_instances |
지표: 작업 활성 워커 인스턴스 | Count |
| job_aggregated_worker_utilization | job/aggregated_worker_utilization |
지표: 작업 집계 워커 사용률 | % |
| job_backlog_bytes | job/backlog_bytes |
지표: 작업 백로그 바이트 | Bytes |
| job_backlog_elements | job/backlog_elements |
지표: 작업 백로그 요소 | Count |
| job_current_num_vcpus | job/current_num_vcpus |
지표: 작업 현재 수 vCPU | Count |
| job_current_shuffle_slots | job/current_shuffle_slots |
지표: 작업 현재 Shuffle 슬롯 | Count |
| job_data_watermark_age | job/data_watermark_age |
지표: 작업 데이터 워터마크 경과 시간 | s |
| job_estimated_bytes_consumed_count | job/estimated_bytes_consumed_count |
지표: 작업 예상 바이트 소비됨 수 | Bytes |
| job_estimated_bytes_produced_count | job/estimated_bytes_produced_count |
지표: 작업 예상 바이트 생성됨 수 | Bytes |
| job_is_bottleneck | job/is_bottleneck |
지표: 작업 상태 병목 | Bool |
| job_is_failed | job/is_failed |
지표: 작업 상태 실패 | Count |
| job_memory_capacity | job/memory_capacity |
지표: 작업 메모리 용량 | Bytes |
| job_system_lag | job/system_lag |
지표: 작업 시스템 지연 | s |
| job_target_worker_instances | job/target_worker_instances |
지표: 작업 대상 워커 인스턴스 | Count |
| job_total_memory_usage_time | job/total_memory_usage_time |
지표: 작업 총계 메모리 사용량 시간 | GiBy.s |