콘텐츠로 이동

HBase Region

HBase Region 지표 정보 수집

설정

1.HBase Region 설정

1.1 jmx-exporter 다운로드

다운로드 주소: https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드

다운로드 주소: https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml

1.3 HBase Region 시작 인자 조정

HBase Region의 시작 인자에 추가합니다

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9407:/opt/jmx/hbase.yaml

1.4 HBase 재시작

2. DataKit 수집기 설정

2.1 DataKit 설치

2.2 수집기 설정

jmx-exporter로 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.

DataKit 설치 디렉터리conf.d/samples로 들어가서 prom.conf.sampleregion.conf로 복사합니다.

cp prom.conf.sample region.conf

region.conf 내용을 다음과 같이 조정합니다:

  urls = ["http://localhost:9407/metrics"]
  source ="hbase-region"
  [inputs.prom.tags]
    component = "hbase-region" 
  interval = "10s"

기타 설정은 필요에 따라 조정, 매개변수 설명:

  • urls: jmx-exporter 지표 주소입니다. 여기에는 해당 컴포넌트가 노출하는 지표 URL을 입력합니다.
  • source: 수집기 별칭입니다. 구분할 수 있게 지정하는 것을 권장합니다.
  • keep_exist_metric_name: 지표 이름 유지
  • interval: 수집 간격
  • inputs.prom.tags: 추가 태그

3. DataKit 재시작

DataKit 재시작

지표

Hadoop 지표 집합

HBase Region 지표는 Hadoop 지표 집합 아래에 있으며, 여기서는 HBase Region 관련 지표를 설명합니다.

Metrics 설명 단위
hadoop_hbase_regionCount 지역 서버가 관리하는 영역 수 count
hadoop_hbase_storeFileCount 현재 regionserver가 관리하는 디스크상의 저장 파일 수 count
hadoop_hbase_storeFileSize 디스크상의 저장 파일 총 크기 byte
hadoop_hbase_hlogFileCount 아직 아카이브되지 않은 WAL 수 count
hadoop_hbase_totalRequestCount 수신한 요청 총수 count
hadoop_hbase_readRequestCount 수신한 읽기 요청 수 count
hadoop_hbase_writeRequestCount 수신한 쓰기 요청 수 count
hadoop_hbase_numOpenConnections RPC 계층의 열린 연결 수 count
hadoop_hbase_numActiveHandler 요청을 적극적으로 처리하는 RPC 핸들러 수 count
hadoop_hbase_numCallsInGeneralQueue 현재 대기열에 있는 사용자 요청 수 count
hadoop_hbase_numCallsInReplicationQueue 복제에서 받은 현재 대기 중 작업 수 count
hadoop_hbase_numCallsInPriorityQueue 현재 대기 중인 우선순위(내부 관리자) 요청 수 count
hadoop_hbase_flushQueueLength memstore flush 큐의 현재 깊이 count
hadoop_hbase_updatesBlockedTime memstore를 flush할 수 있도록 업데이트가 차단된 총 밀리초 수 ms
hadoop_hbase_compactionQueueLength compaction 요청 큐의 현재 깊이 count
hadoop_hbase_blockCacheHitCount 블록 캐시 히트 수 count
hadoop_hbase_blockCacheMissCount 블록 캐시 미스 수 count
hadoop_hbase_blockCacheExpressHitPercent 캐시에 도달한 요청의 비율 count
hadoop_hbase_percentFilesLocal 로컬 DataNode에서 읽을 수 있는 저장 파일 데이터의 비율 count
hadoop_hbase_append_99th_percentile Append 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_delete_99th_percentile Delete 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_get_99th_percentile Get 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_checkandput_99th_percentile CheckAndPut 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_checkanddelete_99th_percentile CheckAndDelete 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_increment_99th_percentile Increment 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_hedgedreadwins hedged read 작업의 성공 횟수 count
hadoop_hbase_hedgedreads hedged read 작업 총수 count
hadoop_hbase_hedgedreadopsincurthread 현재 스레드의 hedged read 작업 수 count
hadoop_hbase_l1cachehitratio L1 캐시 적중률 %
hadoop_hbase_l1cachemissratio L1 캐시 미스율 %
hadoop_hbase_l2cachehitratio L2 캐시 적중률 %
hadoop_hbase_l2cachemissratio L2 캐시 미스율 %
hadoop_hbase_logerror 기록된 오류 수 count
hadoop_hbase_logfatal 기록된 치명적 오류 수 count
hadoop_hbase_loginfo 기록된 정보 수준 로그 수 count
hadoop_hbase_logwarn 기록된 경고 수 count
hadoop_hbase_majorcompactiontime_max compaction 작업의 최대 시간 ms
hadoop_hbase_majorcompactiontime_mean compaction 작업의 평균 시간 ms
hadoop_hbase_majorcompactiontime_median compaction 작업의 중앙값 시간 ms
hadoop_hbase_majorcompactiontime_min compaction 작업의 최소 시간 ms
hadoop_hbase_maxstorefileage 최대 저장 파일 경과 시간 count
hadoop_hbase_memheapcommittedm 힙 메모리에서 커밋된 메모리 양 MB
hadoop_hbase_memheapmaxm 힙 메모리의 최대 양 MB
hadoop_hbase_memheapusedm 힙 메모리에서 사용 중인 메모리 양 MB
hadoop_hbase_memmaxm 총 메모리의 최대 양 MB
hadoop_hbase_memnonheapcommittedm 비힙 메모리에서 커밋된 메모리 양 MB
hadoop_hbase_memnonheapmaxm 비힙 메모리의 최대 양 MB
hadoop_hbase_memnonheapusedm 비힙 메모리에서 사용 중인 메모리 양 MB
hadoop_hbase_mobfilecachehitpercent MOB 파일 캐시 적중률 %
hadoop_hbase_mutationswithoutwalcount WAL 없이 수행된 변경 횟수 count
hadoop_hbase_averageregionsize 영역의 평균 크기 MB
hadoop_hbase_avgstorefileage 저장 파일의 평균 경과 시간 ms
hadoop_hbase_blockcachecount 블록 캐시의 총 블록 수 count
hadoop_hbase_blockcachecounthitpercent 블록 캐시 적중률 %
hadoop_hbase_blockcachedatahitcount 블록 캐시의 데이터 블록 히트 수 count
hadoop_hbase_blockcacheevictioncount 블록 캐시의 eviction 횟수 count
hadoop_hbase_blockcachehitcount 블록 캐시 히트 수 count
hadoop_hbase_blockcachemisscount 블록 캐시 미스 수 count
hadoop_hbase_compactioninputfilecount_99th_percentile compaction 입력 파일 수의 99퍼센타일 값 count
hadoop_hbase_compactionoutputfilecount_99th_percentile compaction 출력 파일 수의 99퍼센타일 값 count
hadoop_hbase_compactiontime_99th_percentile compaction 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_flushedmemstorebytes flush된 MemStore 바이트 수 byte
hadoop_hbase_flushedoutputbytes flush된 출력 바이트 수 byte
hadoop_hbase_flushmemstoresize_99th_percentile flush된 MemStore 크기의 99퍼센타일 값 byte
hadoop_hbase_flushoutputsize_99th_percentile flush 출력 크기의 99퍼센타일 값 byte
hadoop_hbase_flushtime_99th_percentile flush 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_get_25th_percentile Get 작업 시간의 25퍼센타일 값 ms
hadoop_hbase_slowappendcount 느린 Append 작업 횟수 count
hadoop_hbase_slowdeletecount 느린 Delete 작업 횟수 count
hadoop_hbase_slowgetcount 느린 Get 작업 횟수 count
hadoop_hbase_slowincrementcount 느린 Increment 작업 횟수 count
hadoop_hbase_slowputcount 느린 Put 작업 횟수 count
hadoop_hbase_snapshotavgtime 스냅샷 작업의 평균 시간 ms
hadoop_hbase_snapshotnumops 스냅샷 작업 총 횟수 count
hadoop_hbase_source_logeditsread Source가 읽은 로그 편집 수 count
hadoop_hbase_source_shippedbytes Source가 전송한 바이트 수 byte
hadoop_hbase_source_shippedops Source가 전송한 작업 수 count
hadoop_hbase_splitreuestcount 분할 요청 횟수 count
hadoop_hbase_splitsuccesscount 분할 성공 총 횟수 count
hadoop_hbase_staticbloomsize 정적 블룸 필터 크기 count
hadoop_hbase_staticindexsize 정적 인덱스 크기 count
hadoop_hbase_storefileindexsize 저장 파일 인덱스 크기 count
hadoop_hbase_storefilesize 저장 파일 크기 count
hadoop_hbase_successfullogrolls 성공한 로그 롤링 횟수 count
hadoop_hbase_synctime_99th_percentile 동기화 작업 시간의 99퍼센타일 값 ms
hadoop_hbase_tunerdonothingcounter 튜너가 아무 작업도 하지 않은 횟수 count
hadoop_hbase_updatesblockedtime 업데이트 작업이 차단된 시간 ms
hadoop_hbase_writereuestcount 쓰기 요청 총수 count
hadoop_hbase_writtenbytes 총 기록된 바이트 수 byte
hadoop_hbase_zerocopybytesread 제로카피 읽기 바이트 수 byte

문서 평가

이 페이지가 도움이 되었나요?