HBase Region
HBase Region 지표 정보 수집
설정¶
1.HBase Region 설정¶
1.1 jmx-exporter 다운로드¶
다운로드 주소: https://github.com/prometheus/jmx_exporter
1.2 jmx 스크립트 다운로드¶
다운로드 주소: https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml
1.3 HBase Region 시작 인자 조정¶
HBase Region의 시작 인자에 추가합니다
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9407:/opt/jmx/hbase.yaml
1.4 HBase 재시작¶
2. DataKit 수집기 설정¶
2.1 DataKit 설치¶
2.2 수집기 설정¶
jmx-exporter로 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.
DataKit 설치 디렉터리의 conf.d/samples로 들어가서 prom.conf.sample을 region.conf로 복사합니다.
cp prom.conf.sample region.conf
region.conf 내용을 다음과 같이 조정합니다:
urls = ["http://localhost:9407/metrics"]
source ="hbase-region"
[inputs.prom.tags]
component = "hbase-region"
interval = "10s"
기타 설정은 필요에 따라 조정, 매개변수 설명:
- urls:
jmx-exporter지표 주소입니다. 여기에는 해당 컴포넌트가 노출하는 지표 URL을 입력합니다. - source: 수집기 별칭입니다. 구분할 수 있게 지정하는 것을 권장합니다.
- keep_exist_metric_name: 지표 이름 유지
- interval: 수집 간격
- inputs.prom.tags: 추가 태그
3. DataKit 재시작¶
지표¶
Hadoop 지표 집합¶
HBase Region 지표는 Hadoop 지표 집합 아래에 있으며, 여기서는 HBase Region 관련 지표를 설명합니다.
| Metrics | 설명 | 단위 |
|---|---|---|
hadoop_hbase_regionCount |
지역 서버가 관리하는 영역 수 |
count |
hadoop_hbase_storeFileCount |
현재 regionserver가 관리하는 디스크상의 저장 파일 수 |
count |
hadoop_hbase_storeFileSize |
디스크상의 저장 파일 총 크기 |
byte |
hadoop_hbase_hlogFileCount |
아직 아카이브되지 않은 WAL 수 |
count |
hadoop_hbase_totalRequestCount |
수신한 요청 총수 |
count |
hadoop_hbase_readRequestCount |
수신한 읽기 요청 수 |
count |
hadoop_hbase_writeRequestCount |
수신한 쓰기 요청 수 |
count |
hadoop_hbase_numOpenConnections |
RPC 계층의 열린 연결 수 |
count |
hadoop_hbase_numActiveHandler |
요청을 적극적으로 처리하는 RPC 핸들러 수 |
count |
hadoop_hbase_numCallsInGeneralQueue |
현재 대기열에 있는 사용자 요청 수 |
count |
hadoop_hbase_numCallsInReplicationQueue |
복제에서 받은 현재 대기 중 작업 수 |
count |
hadoop_hbase_numCallsInPriorityQueue |
현재 대기 중인 우선순위(내부 관리자) 요청 수 |
count |
hadoop_hbase_flushQueueLength |
memstore flush 큐의 현재 깊이 |
count |
hadoop_hbase_updatesBlockedTime |
memstore를 flush할 수 있도록 업데이트가 차단된 총 밀리초 수 |
ms |
hadoop_hbase_compactionQueueLength |
compaction 요청 큐의 현재 깊이 |
count |
hadoop_hbase_blockCacheHitCount |
블록 캐시 히트 수 |
count |
hadoop_hbase_blockCacheMissCount |
블록 캐시 미스 수 |
count |
hadoop_hbase_blockCacheExpressHitPercent |
캐시에 도달한 요청의 비율 |
count |
hadoop_hbase_percentFilesLocal |
로컬 DataNode에서 읽을 수 있는 저장 파일 데이터의 비율 |
count |
hadoop_hbase_append_99th_percentile |
Append 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_delete_99th_percentile |
Delete 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_get_99th_percentile |
Get 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_checkandput_99th_percentile |
CheckAndPut 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_checkanddelete_99th_percentile |
CheckAndDelete 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_increment_99th_percentile |
Increment 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_hedgedreadwins |
hedged read 작업의 성공 횟수 |
count |
hadoop_hbase_hedgedreads |
hedged read 작업 총수 |
count |
hadoop_hbase_hedgedreadopsincurthread |
현재 스레드의 hedged read 작업 수 |
count |
hadoop_hbase_l1cachehitratio |
L1 캐시 적중률 |
% |
hadoop_hbase_l1cachemissratio |
L1 캐시 미스율 |
% |
hadoop_hbase_l2cachehitratio |
L2 캐시 적중률 |
% |
hadoop_hbase_l2cachemissratio |
L2 캐시 미스율 |
% |
hadoop_hbase_logerror |
기록된 오류 수 |
count |
hadoop_hbase_logfatal |
기록된 치명적 오류 수 |
count |
hadoop_hbase_loginfo |
기록된 정보 수준 로그 수 |
count |
hadoop_hbase_logwarn |
기록된 경고 수 |
count |
hadoop_hbase_majorcompactiontime_max |
compaction 작업의 최대 시간 |
ms |
hadoop_hbase_majorcompactiontime_mean |
compaction 작업의 평균 시간 |
ms |
hadoop_hbase_majorcompactiontime_median |
compaction 작업의 중앙값 시간 |
ms |
hadoop_hbase_majorcompactiontime_min |
compaction 작업의 최소 시간 |
ms |
hadoop_hbase_maxstorefileage |
최대 저장 파일 경과 시간 |
count |
hadoop_hbase_memheapcommittedm |
힙 메모리에서 커밋된 메모리 양 |
MB |
hadoop_hbase_memheapmaxm |
힙 메모리의 최대 양 |
MB |
hadoop_hbase_memheapusedm |
힙 메모리에서 사용 중인 메모리 양 |
MB |
hadoop_hbase_memmaxm |
총 메모리의 최대 양 |
MB |
hadoop_hbase_memnonheapcommittedm |
비힙 메모리에서 커밋된 메모리 양 |
MB |
hadoop_hbase_memnonheapmaxm |
비힙 메모리의 최대 양 |
MB |
hadoop_hbase_memnonheapusedm |
비힙 메모리에서 사용 중인 메모리 양 |
MB |
hadoop_hbase_mobfilecachehitpercent |
MOB 파일 캐시 적중률 |
% |
hadoop_hbase_mutationswithoutwalcount |
WAL 없이 수행된 변경 횟수 |
count |
hadoop_hbase_averageregionsize |
영역의 평균 크기 |
MB |
hadoop_hbase_avgstorefileage |
저장 파일의 평균 경과 시간 |
ms |
hadoop_hbase_blockcachecount |
블록 캐시의 총 블록 수 |
count |
hadoop_hbase_blockcachecounthitpercent |
블록 캐시 적중률 |
% |
hadoop_hbase_blockcachedatahitcount |
블록 캐시의 데이터 블록 히트 수 |
count |
hadoop_hbase_blockcacheevictioncount |
블록 캐시의 eviction 횟수 |
count |
hadoop_hbase_blockcachehitcount |
블록 캐시 히트 수 |
count |
hadoop_hbase_blockcachemisscount |
블록 캐시 미스 수 |
count |
hadoop_hbase_compactioninputfilecount_99th_percentile |
compaction 입력 파일 수의 99퍼센타일 값 |
count |
hadoop_hbase_compactionoutputfilecount_99th_percentile |
compaction 출력 파일 수의 99퍼센타일 값 |
count |
hadoop_hbase_compactiontime_99th_percentile |
compaction 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_flushedmemstorebytes |
flush된 MemStore 바이트 수 |
byte |
hadoop_hbase_flushedoutputbytes |
flush된 출력 바이트 수 |
byte |
hadoop_hbase_flushmemstoresize_99th_percentile |
flush된 MemStore 크기의 99퍼센타일 값 |
byte |
hadoop_hbase_flushoutputsize_99th_percentile |
flush 출력 크기의 99퍼센타일 값 |
byte |
hadoop_hbase_flushtime_99th_percentile |
flush 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_get_25th_percentile |
Get 작업 시간의 25퍼센타일 값 |
ms |
hadoop_hbase_slowappendcount |
느린 Append 작업 횟수 |
count |
hadoop_hbase_slowdeletecount |
느린 Delete 작업 횟수 |
count |
hadoop_hbase_slowgetcount |
느린 Get 작업 횟수 |
count |
hadoop_hbase_slowincrementcount |
느린 Increment 작업 횟수 |
count |
hadoop_hbase_slowputcount |
느린 Put 작업 횟수 |
count |
hadoop_hbase_snapshotavgtime |
스냅샷 작업의 평균 시간 |
ms |
hadoop_hbase_snapshotnumops |
스냅샷 작업 총 횟수 |
count |
hadoop_hbase_source_logeditsread |
Source가 읽은 로그 편집 수 |
count |
hadoop_hbase_source_shippedbytes |
Source가 전송한 바이트 수 |
byte |
hadoop_hbase_source_shippedops |
Source가 전송한 작업 수 |
count |
hadoop_hbase_splitreuestcount |
분할 요청 횟수 |
count |
hadoop_hbase_splitsuccesscount |
분할 성공 총 횟수 |
count |
hadoop_hbase_staticbloomsize |
정적 블룸 필터 크기 |
count |
hadoop_hbase_staticindexsize |
정적 인덱스 크기 |
count |
hadoop_hbase_storefileindexsize |
저장 파일 인덱스 크기 |
count |
hadoop_hbase_storefilesize |
저장 파일 크기 |
count |
hadoop_hbase_successfullogrolls |
성공한 로그 롤링 횟수 |
count |
hadoop_hbase_synctime_99th_percentile |
동기화 작업 시간의 99퍼센타일 값 |
ms |
hadoop_hbase_tunerdonothingcounter |
튜너가 아무 작업도 하지 않은 횟수 |
count |
hadoop_hbase_updatesblockedtime |
업데이트 작업이 차단된 시간 |
ms |
hadoop_hbase_writereuestcount |
쓰기 요청 총수 |
count |
hadoop_hbase_writtenbytes |
총 기록된 바이트 수 |
byte |
hadoop_hbase_zerocopybytesread |
제로카피 읽기 바이트 수 |
byte |