Volcengine Kafka¶
Volcengine Kafka 지표에는 Broker 온라인 비율, CPU 사용률, 메모리 사용률, 디스크 사용률, 메시지 생산 및 소비 속도, 요청 지연 시간 등이 포함됩니다. 이러한 지표는 Kafka 인스턴스의 운영 상태, 리소스 사용 현황 및 성능을 보여줍니다.
설정¶
Func 설치¶
Guance의 통합 - 확장에서 관리형 Func를 활성화하는 것을 권장합니다. 모든 사전 요구 사항이 자동으로 설치되므로 스크립트 설치를 진행하세요.
Func를 직접 배포하려면 Func 자체 배포를 참고하세요.
스크립트 설치¶
참고: 요구 사항을 충족하는 Volcengine AK를 미리 준비하세요. 간편하게 설정하려면 전역 읽기 전용 권한
ReadOnlyAccess를 부여할 수 있습니다.
-
Func 콘솔에 로그인하고 [스크립트 마켓]을 클릭하여 Guance 스크립트 마켓을 연 다음
integration_volcengine_kafka를 검색하세요. -
[설치]를 클릭한 후 Volcengine AK ID, AK Secret 및 계정 이름을 입력하세요.
-
[시작 스크립트 배포]를 클릭하면 시스템이
Startup스크립트 세트를 자동으로 생성하고 해당 시작 스크립트를 구성합니다. -
활성화하면 [관리 / 자동 트리거 설정]에서 해당 설정을 확인할 수 있습니다. [실행]을 클릭하면 예약 시간을 기다리지 않고 즉시 한 번 실행됩니다. 잠시 후 작업 실행 기록과 관련 로그를 확인하세요.
검증¶
- [관리 / 자동 트리거 설정]에서 해당 작업의 자동 트리거 설정이 있는지 확인하고, 작업 기록과 로그에 오류가 있는지 점검하세요.
- Guance의 [인프라 / 사용자 정의]에서 자산 정보가 있는지 확인하세요.
- Guance의 [지표]에서 해당 모니터링 데이터가 있는지 확인하세요.
지표¶
Volcengine Cloud Monitoring을 구성하면 아래 지표가 기본으로 수집됩니다. 설정을 통해 더 많은 지표를 수집할 수 있습니다. Volcengine Cloud Monitoring 지표 상세 정보를 참고하세요.
참고:
volcengineKafka 콘솔에 모니터링 플러그인을 설치해야 합니다.
MetricName |
Subnamespace |
지표 이름 | MetricUnit | Dimension |
|---|---|---|---|---|
MetricName |
SubNamespace |
지표 이름 | MetricUnit | Dimension |
broker_online_rate |
Instance |
노드 온라인 비율 | Percent | ResourceID |
cap_util |
Instance |
용량 사용률 | Percent | ResourceID |
connections_count |
Instance |
인스턴스 연결 수 | Count | ResourceID |
connections_per_ip |
Instance |
IP별 연결 수 | Count | ClientIP,ResourceID |
consumption_rate_percent |
Instance |
소비 대역폭 비율 | Percent | ResourceID |
consumption_request_mean_time |
Instance |
평균 메시지 소비 소요 시간 | Millisecond | ResourceID |
consumption_request_p99_time |
Instance |
메시지 소비 P99 소요 시간 | Millisecond | ResourceID |
cpu_util |
Instance |
CPU 사용률 | Percent | ResourceID |
disk_util |
Broker |
디스크 사용률 | Percent | ResourceID,Broker |
dsik_skewness |
Instance |
디스크 불균형 비율 | Percent | ResourceID |
group_consumption_rate |
Group |
컨슈머 그룹 소비 속도 | Count | Group,ResourceID |
group_msg_accum |
Group |
컨슈머 그룹 메시지 적체량 | Count | Group,ResourceID |
group_rebalance_count |
Group |
컨슈머 그룹 리밸런싱 횟수 | Count | Group,ResourceID |
instance_available_group |
Instance |
남은 사용 가능 컨슈머 그룹 수 | Count | ResourceID |
instance_available_partition |
Instance |
남은 사용 가능 파티션 수 | Count | ResourceID |
max_disk_util |
Instance |
노드 최대 디스크 사용률 | Percent | ResourceID |
mem_util |
Instance |
메모리 사용률 | Percent | ResourceID |
msg_consumption_rate |
Instance |
메시지 소비 속도 | Bytes/Second(SI) | ResourceID |
msg_production_count |
Instance |
생산된 메시지 수 | Count/Second | ResourceID |
msg_production_rate |
Instance |
메시지 생산 속도 | Bytes/Second(SI) | ResourceID |
partition_msg_accum |
Group_Partition |
파티션 메시지 적체량 | Count | Group,Partition,ResourceID,Topic |
produce_request_mean_time |
Broker |
평균 메시지 생산 소요 시간 | Millisecond | ResourceID,Broker |
production_rate_percent |
Instance |
생산 대역폭 비율 | Percent | ResourceID |
production_request_mean_time |
Instance |
평균 메시지 생산 소요 시간 | Millisecond | ResourceID |
production_request_p99_time |
Instance |
메시지 생산 P99 소요 시간 | Millisecond | ResourceID |
req_consumption_count |
Instance |
메시지 소비 횟수 | Count/Second | ResourceID |
req_production_count |
Instance |
메시지 생산 횟수 | Count/Second | ResourceID |
topic_consumption_rate |
Group_Topic |
Topic 소비 속도 | Count | Group,ResourceID,Topic |
topic_data_size |
Topic |
Topic 데이터 크기 | Bits(IEC) | ResourceID,Topic |
topic_msg_accum |
Group_Topic |
Topic 메시지 적체량 | Count | Group,ResourceID,Topic |
객체¶
수집된 Volcengine Kafka 객체 이름은 volcengine_kafka입니다. [인프라 - 사용자 정의]에서 객체 데이터와 구조를 확인할 수 있습니다.