콘텐츠로 이동

화웨이 클라우드 DMS Kafka

화웨이 클라우드 DMS Kafka 지표 데이터 수집

설정

Func 설치

Guance 통합 - 확장 - 관리형 Func 활성화를 권장합니다: 모든 사전 조건이 자동으로 설치되므로, 스크립트 설치를 계속 진행하세요

Func를 직접 배포하는 경우 직접 배포 Func를 참고하세요

설치 스크립트

안내: 요구 사항을 충족하는 화웨이 클라우드 AK를 미리 준비해 두세요(간단히 하려면 전역 읽기 전용 권한Tenant Guest를 직접 부여해도 됩니다)

관리형 활성화 스크립트

  1. Guance 콘솔에 로그인합니다
  2. 【통합】 메뉴를 클릭하고 【클라우드 계정 관리】를 선택합니다
  3. 【클라우드 계정 추가】를 클릭하고 【화웨이 클라우드】를 선택한 뒤, 화면에 필요한 정보를 입력합니다. 이전에 클라우드 계정 정보를 이미 구성했다면 이 단계를 건너뜁니다
  4. 【테스트】를 클릭해 테스트가 성공하면 【저장】을 클릭합니다. 테스트에 실패하면 관련 구성 정보가 올바른지 확인한 뒤 다시 테스트합니다
  5. 【클라우드 계정 관리】 목록에서 추가된 클라우드 계정을 확인할 수 있습니다. 해당 클라우드 계정을 클릭해 상세 페이지로 들어갑니다
  6. 클라우드 계정 상세 페이지의 【통합】 버튼을 클릭하고, 설치되지 않음 목록에서 화웨이 클라우드 Kafka를 찾아 【설치】 버튼을 클릭한 뒤, 나타나는 설치 화면에서 설치하면 됩니다

수동 활성화 스크립트

  1. Func 콘솔에 로그인한 뒤 【스크립트 마켓】을 클릭해 Guance 스크립트 마켓으로 들어가 integration_huaweicloud_kafka를 검색합니다

  2. 【설치】를 클릭한 뒤, 화웨이 클라우드 AK, SK 및 계정 이름 등 해당 파라미터를 입력합니다

  3. 【배포 및 시작 스크립트】를 클릭하면 시스템이 자동으로 Startup 스크립트 세트를 생성하고, 해당 시작 스크립트를 자동으로 구성합니다

  4. 활성화 후에는 「관리 / 자동 트리거 설정」에서 해당 자동 트리거 구성을 확인할 수 있습니다. 【실행】을 클릭하면 정기 실행 시간을 기다리지 않고 즉시 한 번 실행할 수 있습니다. 잠시 후 실행 작업 기록과 해당 로그를 확인할 수 있습니다

검증

  1. 「관리 / 자동 트리거 설정」에서 해당 작업의 자동 트리거 구성이 존재하는지 확인하고, 동시에 작업 기록 및 로그를 확인하여 이상 여부를 점검합니다
  2. Guance의 「인프라 - 리소스 디렉터리」에서 자산 정보가 존재하는지 확인합니다
  3. Guance의 「지표」에서 해당 모니터링 데이터가 있는지 확인합니다

지표

화웨이 클라우드 DMS Kafka 지표 데이터를 수집하며, 구성 방식으로 더 많은 지표를 수집할 수 있습니다 화웨이 클라우드 DMS kafka 지표 상세

인스턴스 모니터링 지표

지표 이름 지표 의미 단위 차원
current_partitions 이 지표는 Kafka 인스턴스에서 이미 사용 중인 파티션 수를 집계하는 데 사용됩니다 Count instance_id
current_topics 이 지표는 Kafka 인스턴스에서 이미 생성된 토픽 수를 집계하는 데 사용됩니다 Count instance_id
group_msgs 이 지표는 Kafka 인스턴스의 모든 소비 그룹에 쌓인 총 메시지 수를 집계하는 데 사용됩니다 Count instance_id

노드 모니터링 지표

지표 이름 지표 의미 단위 차원
broker_data_size 이 지표는 현재 노드의 메시지 데이터 크기를 집계하는 데 사용됩니다 Byte instance_id
broker_messages_in_rate 이 지표는 초당 생산되는 메시지 수를 집계하는 데 사용됩니다 Count/s instance_id
broker_bytes_in_rate 이 지표는 초당 생산되는 바이트 수를 집계하는 데 사용됩니다 Byte/s instance_id
broker_bytes_out_rate 이 지표는 초당 소비되는 바이트 수를 집계하는 데 사용됩니다 Byte/s instance_id
broker_public_bytes_in_rate Broker 노드의 초당 공인망 유입 트래픽을 집계합니다 Byte/s instance_id
broker_public_bytes_out_rate Broker 노드의 초당 공인망 유출 트래픽을 집계합니다 Byte/s instance_id
broker_fetch_mean Broker 노드가 소비 요청을 처리하는 평균 소요 시간을 집계합니다 ms instance_id
broker_produce_mean 생산 요청의 평균 처리 시간을 집계합니다 ms instance_id
broker_cpu_core_load Kafka 노드의 가상 머신 계층에서 수집한 각 CPU 코어의 평균 부하 % instance_id
broker_disk_usage Kafka 노드의 가상 머신 계층에서 수집한 디스크 용량 사용률 % instance_id
broker_memory_usage Kafka 노드의 가상 머신 계층에서 수집한 메모리 사용률 % instance_id
broker_heap_usage Kafka 노드의 Kafka 프로세스 JVM에서 수집한 힙 메모리 사용률 % instance_id
broker_alive Kafka 노드의 생존 여부를 나타냅니다 1:생존 0:오프라인 instance_id
broker_connections Kafka 노드의 현재 모든 TCP 연결 수 Count instance_id
broker_cpu_usage Kafka 노드의 가상 머신 CPU 사용률 % instance_id
broker_total_bytes_in_rate Broker 노드의 초당 네트워크 유입 트래픽 Byte/s instance_id
broker_total_bytes_out_rate Broker 노드의 초당 네트워크 유출 트래픽 Byte/s instance_id
broker_disk_read_rate 디스크 읽기 작업 트래픽 Byte/s instance_id
broker_disk_write_rate 디스크 쓰기 작업 트래픽 Byte/s instance_id
network_bandwidth_usage 네트워크 대역폭 사용률 % instance_id

소비 그룹 모니터링 지표

지표 이름 지표 의미 단위 차원
messages_consumed 이 지표는 현재 소비 그룹이 이미 소비한 메시지 개수를 집계하는 데 사용됩니다 Count instance_id
messages_remained 이 지표는 소비 그룹이 소비할 수 있는 메시지 개수를 집계하는 데 사용됩니다 Count instance_id
topic_messages_remained 이 지표는 소비 그룹이 지정한 큐에서 소비할 수 있는 메시지 개수를 집계하는 데 사용됩니다 Count instance_id
topic_messages_consumed 이 지표는 소비 그룹이 지정한 큐에서 현재 이미 소비한 메시지 수를 집계하는 데 사용됩니다 Count instance_id
consumer_messages_remained 이 지표는 소비 그룹이 남아 있는 소비 가능 메시지 개수를 집계하는 데 사용됩니다 Count instance_id
consumer_messages_consumed 이 지표는 소비 그룹이 현재 이미 소비한 메시지 수를 집계하는 데 사용됩니다 Count instance_id

객체

수집된 화웨이 클라우드 Kafka 객체 데이터 구조이며, 「인프라 - 리소스 디렉터리」에서 객체 데이터를 확인할 수 있습니다

{
  "measurement": "huaweicloud_kafka",
  "tags": {      
    "RegionId"           : "cn-north-4",
    "charging_mode"      : "1",
    "connect_address"    : "192.168.0.161,192.168.0.126,192.168.0.31",
    "description"        : "",
    "engine"             : "kafka",
    "engine_version"     : "2.7",
    "instance_id"        : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
    "kafka_manager_user" : "",
    "name"               : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
    "port"               : "9092",
    "project_id"         : "f5f4c067d68xxxx86e173b18367bf",
    "resource_spec_code" : "",
    "service_type"       : "advanced",
    "specification"      : "kafka.2u4g.cluster.small * 3 broker",
    "status"             : "RUNNING",
    "storage_type"       : "hec",
    "user_id"            : "e4b27d49128e4bd0893b28d032a2e7c0",
    "user_name"          : "xxxx"
  },
  "fields": {
    "created_at"          : "1693203968959",
    "maintain_begin"      : "02:00:00",
    "maintain_end"        : "06:00:00",
    "storage_space"       : 186,
    "total_storage_space" : 300,
    "message"             : "{인스턴스 JSON 데이터}"
  }
}

주의: tagsfields의 필드는 이후 업데이트에 따라 변경될 수 있습니다

힌트 1: tags.name 값은 인스턴스 ID이며, 고유 식별자로 사용됩니다

힌트 2: 아래 필드는 모두 JSON 직렬화 후 문자열입니다

문서 평가

이 페이지가 도움이 되었나요?