화웨이 클라우드 DMS Kafka
화웨이 클라우드 DMS Kafka 지표 데이터 수집
설정¶
Func 설치¶
Guance 통합 - 확장 - 관리형 Func 활성화를 권장합니다: 모든 사전 조건이 자동으로 설치되므로, 스크립트 설치를 계속 진행하세요
Func를 직접 배포하는 경우 직접 배포 Func를 참고하세요
설치 스크립트¶
안내: 요구 사항을 충족하는 화웨이 클라우드 AK를 미리 준비해 두세요(간단히 하려면 전역 읽기 전용 권한
Tenant Guest를 직접 부여해도 됩니다)
관리형 활성화 스크립트¶
Guance콘솔에 로그인합니다- 【통합】 메뉴를 클릭하고 【클라우드 계정 관리】를 선택합니다
- 【클라우드 계정 추가】를 클릭하고 【화웨이 클라우드】를 선택한 뒤, 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 이미 구성했다면 이 단계를 건너뜁니다
- 【테스트】를 클릭해 테스트가 성공하면 【저장】을 클릭합니다. 테스트에 실패하면 관련 구성 정보가 올바른지 확인한 뒤 다시 테스트합니다
- 【클라우드 계정 관리】 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭해 상세 페이지로 들어갑니다
- 클라우드 계정 상세 페이지의 【통합】 버튼을 클릭하고,
설치되지 않음목록에서화웨이 클라우드 Kafka를 찾아 【설치】 버튼을 클릭한 뒤, 나타나는 설치 화면에서 설치하면 됩니다
수동 활성화 스크립트¶
-
Func 콘솔에 로그인한 뒤 【스크립트 마켓】을 클릭해
Guance스크립트 마켓으로 들어가integration_huaweicloud_kafka를 검색합니다 -
【설치】를 클릭한 뒤, 화웨이 클라우드 AK, SK 및 계정 이름 등 해당 파라미터를 입력합니다
-
【배포 및 시작 스크립트】를 클릭하면 시스템이 자동으로
Startup스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다 -
활성화 후에는 「관리 / 자동 트리거 설정」에서 해당 자동 트리거 구성을 확인할 수 있습니다. 【실행】을 클릭하면 정기 실행 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다
검증¶
- 「관리 / 자동 트리거 설정」에서 해당 작업의 자동 트리거 구성이 존재하는지 확인하고, 동시에 작업 기록 및 로그를 확인하여 이상 여부를 점검합니다
Guance의 「인프라 - 리소스 디렉터리」에서 자산 정보가 존재하는지 확인합니다Guance의 「지표」에서 해당 모니터링 데이터가 있는지 확인합니다
지표¶
화웨이 클라우드 DMS Kafka 지표 데이터를 수집하며, 구성 방식으로 더 많은 지표를 수집할 수 있습니다 화웨이 클라우드 DMS kafka 지표 상세
인스턴스 모니터링 지표¶
| 지표 이름 | 지표 의미 | 단위 | 차원 |
|---|---|---|---|
| current_partitions | 이 지표는 Kafka 인스턴스에서 이미 사용 중인 파티션 수를 집계하는 데 사용됩니다 | Count | instance_id |
| current_topics | 이 지표는 Kafka 인스턴스에서 이미 생성된 토픽 수를 집계하는 데 사용됩니다 | Count | instance_id |
| group_msgs | 이 지표는 Kafka 인스턴스의 모든 소비 그룹에 쌓인 총 메시지 수를 집계하는 데 사용됩니다 | Count | instance_id |
노드 모니터링 지표¶
| 지표 이름 | 지표 의미 | 단위 | 차원 |
|---|---|---|---|
| broker_data_size | 이 지표는 현재 노드의 메시지 데이터 크기를 집계하는 데 사용됩니다 | Byte | instance_id |
| broker_messages_in_rate | 이 지표는 초당 생산되는 메시지 수를 집계하는 데 사용됩니다 | Count/s | instance_id |
| broker_bytes_in_rate | 이 지표는 초당 생산되는 바이트 수를 집계하는 데 사용됩니다 | Byte/s | instance_id |
| broker_bytes_out_rate | 이 지표는 초당 소비되는 바이트 수를 집계하는 데 사용됩니다 | Byte/s | instance_id |
| broker_public_bytes_in_rate | Broker 노드의 초당 공인망 유입 트래픽을 집계합니다 | Byte/s | instance_id |
| broker_public_bytes_out_rate | Broker 노드의 초당 공인망 유출 트래픽을 집계합니다 | Byte/s | instance_id |
| broker_fetch_mean | Broker 노드가 소비 요청을 처리하는 평균 소요 시간을 집계합니다 | ms | instance_id |
| broker_produce_mean | 생산 요청의 평균 처리 시간을 집계합니다 | ms | instance_id |
| broker_cpu_core_load | Kafka 노드의 가상 머신 계층에서 수집한 각 CPU 코어의 평균 부하 | % | instance_id |
| broker_disk_usage | Kafka 노드의 가상 머신 계층에서 수집한 디스크 용량 사용률 | % | instance_id |
| broker_memory_usage | Kafka 노드의 가상 머신 계층에서 수집한 메모리 사용률 | % | instance_id |
| broker_heap_usage | Kafka 노드의 Kafka 프로세스 JVM에서 수집한 힙 메모리 사용률 | % | instance_id |
| broker_alive | Kafka 노드의 생존 여부를 나타냅니다 | 1:생존 0:오프라인 | instance_id |
| broker_connections | Kafka 노드의 현재 모든 TCP 연결 수 | Count | instance_id |
| broker_cpu_usage | Kafka 노드의 가상 머신 CPU 사용률 | % | instance_id |
| broker_total_bytes_in_rate | Broker 노드의 초당 네트워크 유입 트래픽 | Byte/s | instance_id |
| broker_total_bytes_out_rate | Broker 노드의 초당 네트워크 유출 트래픽 | Byte/s | instance_id |
| broker_disk_read_rate | 디스크 읽기 작업 트래픽 | Byte/s | instance_id |
| broker_disk_write_rate | 디스크 쓰기 작업 트래픽 | Byte/s | instance_id |
| network_bandwidth_usage | 네트워크 대역폭 사용률 | % | instance_id |
소비 그룹 모니터링 지표¶
| 지표 이름 | 지표 의미 | 단위 | 차원 |
|---|---|---|---|
| messages_consumed | 이 지표는 현재 소비 그룹이 이미 소비한 메시지 개수를 집계하는 데 사용됩니다 | Count | instance_id |
| messages_remained | 이 지표는 소비 그룹이 소비할 수 있는 메시지 개수를 집계하는 데 사용됩니다 | Count | instance_id |
| topic_messages_remained | 이 지표는 소비 그룹이 지정한 큐에서 소비할 수 있는 메시지 개수를 집계하는 데 사용됩니다 | Count | instance_id |
| topic_messages_consumed | 이 지표는 소비 그룹이 지정한 큐에서 현재 이미 소비한 메시지 수를 집계하는 데 사용됩니다 | Count | instance_id |
| consumer_messages_remained | 이 지표는 소비 그룹이 남아 있는 소비 가능 메시지 개수를 집계하는 데 사용됩니다 | Count | instance_id |
| consumer_messages_consumed | 이 지표는 소비 그룹이 현재 이미 소비한 메시지 수를 집계하는 데 사용됩니다 | Count | instance_id |
객체¶
수집된 화웨이 클라우드 Kafka 객체 데이터 구조이며, 「인프라 - 리소스 디렉터리」에서 객체 데이터를 확인할 수 있습니다
{
"measurement": "huaweicloud_kafka",
"tags": {
"RegionId" : "cn-north-4",
"charging_mode" : "1",
"connect_address" : "192.168.0.161,192.168.0.126,192.168.0.31",
"description" : "",
"engine" : "kafka",
"engine_version" : "2.7",
"instance_id" : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
"kafka_manager_user" : "",
"name" : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
"port" : "9092",
"project_id" : "f5f4c067d68xxxx86e173b18367bf",
"resource_spec_code" : "",
"service_type" : "advanced",
"specification" : "kafka.2u4g.cluster.small * 3 broker",
"status" : "RUNNING",
"storage_type" : "hec",
"user_id" : "e4b27d49128e4bd0893b28d032a2e7c0",
"user_name" : "xxxx"
},
"fields": {
"created_at" : "1693203968959",
"maintain_begin" : "02:00:00",
"maintain_end" : "06:00:00",
"storage_space" : 186,
"total_storage_space" : 300,
"message" : "{인스턴스 JSON 데이터}"
}
}
주의:
tags와fields의 필드는 이후 업데이트에 따라 변경될 수 있습니다힌트 1:
tags.name값은 인스턴스 ID이며, 고유 식별자로 사용됩니다힌트 2: 아래 필드는 모두 JSON 직렬화 후 문자열입니다