콘텐츠로 이동

HBase Master

HBase Master 메트릭 정보 수집

설정

1.HBase Master 설정

1.1 jmx-exporter 다운로드

다운로드 주소:https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드

다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml

1.3 HBase Master 시작 파라미터 조정

HBase Master의 시작 파라미터에 다음을 추가

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9406:/opt/jmx/hbase.yaml

1.4 HBase 재시작

2. DataKit 수집기 설정

2.1 DataKit 설치

2.2 수집기 설정

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기를 통해 직접 수집할 수 있다.

DataKit 설치 디렉터리conf.d/samples로 들어가 prom.conf.samplemaster.conf로 복사한다.

cp prom.conf.sample master.conf

master.conf 내용을 다음과 같이 조정한다:

  urls = ["http://localhost:9406/metrics"]
  source ="hbase-master"
  [inputs.prom.tags]
    component = "hbase-master" 
  interval = "10s"

기타 설정은 필요에 따라 조정, 조정 파라미터 설명:

  • urls:jmx-exporter 메트릭 주소, 여기에는 해당 컴포넌트가 노출한 메트릭 URL을 입력한다
  • source:수집기 별칭, 구분되도록 사용하는 것을 권장한다
  • keep_exist_metric_name: 메트릭 이름 유지
  • interval:수집 간격
  • inputs.prom.tags: 추가 태그 추가

3. DataKit 재시작

DataKit 재시작

메트릭

Hadoop 메트릭 집합

HBase Master 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 주로 HBase Master 관련 메트릭을 설명한다

메트릭 설명 단위
hadoop_hbase_appendcount 추가 작업 카운트 count
hadoop_hbase_appendsize_25th_percentile 추가 작업 크기의 25백분위수 Byte
hadoop_hbase_appendsize_75th_percentile 추가 작업 크기의 75백분위수 Byte
hadoop_hbase_appendsize_90th_percentile 추가 작업 크기의 90백분위수 Byte
hadoop_hbase_appendsize_95th_percentile 추가 작업 크기의 95백분위수 Byte
hadoop_hbase_appendsize_98th_percentile 추가 작업 크기의 98백분위수 Byte
hadoop_hbase_appendsize_99_9th_percentile 추가 작업 크기의 99.9백분위수 Byte
hadoop_hbase_appendsize_99th_percentile 추가 작업 크기의 99백분위수 Byte
hadoop_hbase_appendsize_max 추가 작업의 최대 크기 Byte
hadoop_hbase_appendsize_mean 추가 작업의 평균 크기 Byte
hadoop_hbase_appendsize_median 추가 작업의 중앙값 크기 Byte
hadoop_hbase_appendsize_min 추가 작업의 최소 크기 Byte
hadoop_hbase_appendsize_num_ops 추가 작업 수 count
hadoop_hbase_assignfailedcount 할당 실패 카운트 count
hadoop_hbase_assignsubmittedcount 할당 제출 카운트 count
hadoop_hbase_authenticationfailures 인증 실패 횟수 count
hadoop_hbase_authenticationsuccesses 인증 성공 횟수 count
hadoop_hbase_authorizationfailures 인가 실패 횟수 count
hadoop_hbase_authorizationsuccesses 인가 성공 횟수 count
hadoop_hbase_averageload 평균 부하 count
hadoop_hbase_balancercluster_25th_percentile 클러스터 균형 조정 작업의 25백분위수 ms
hadoop_hbase_balancercluster_75th_percentile 클러스터 균형 조정 작업의 75백분위수 ms
hadoop_hbase_balancercluster_90th_percentile 클러스터 균형 조정 작업의 90백분위수 ms
hadoop_hbase_balancercluster_95th_percentile 클러스터 균형 조정 작업의 95백분위수 ms
hadoop_hbase_balancercluster_98th_percentile 클러스터 균형 조정 작업의 98백분위수 ms
hadoop_hbase_balancercluster_99_9th_percentile 클러스터 균형 조정 작업의 99.9백분위수 ms
hadoop_hbase_balancercluster_99th_percentile 클러스터 균형 조정 작업의 99백분위수 ms
hadoop_hbase_balancercluster_max 클러스터 균형 조정 작업의 최대값 ms
hadoop_hbase_balancercluster_mean 클러스터 균형 조정 작업의 평균값 ms
hadoop_hbase_balancercluster_median 클러스터 균형 조정 작업의 중앙값 ms
hadoop_hbase_balancercluster_min 클러스터 균형 조정 작업의 최소값 ms
hadoop_hbase_balancercluster_num_ops 클러스터 균형 조정 작업 수 ms
hadoop_hbase_closefailedcount 닫기 실패 카운트 count
hadoop_hbase_closesubmittedcount 닫기 제출 카운트 count
hadoop_hbase_closetime_25th_percentile 닫기 작업 시간의 25백분위수 ms
hadoop_hbase_closetime_75th_percentile 닫기 작업 시간의 75백분위수 ms
hadoop_hbase_closetime_90th_percentile 닫기 작업 시간의 90백분위수 ms
hadoop_hbase_closetime_95th_percentile 닫기 작업 시간의 95백분위수 ms
hadoop_hbase_closetime_98th_percentile 닫기 작업 시간의 98백분위수 ms
hadoop_hbase_closetime_99_9th_percentile 닫기 작업 시간의 99.9백분위수 ms
hadoop_hbase_closetime_max 닫기 작업의 최대 시간 ms
hadoop_hbase_closetime_mean 닫기 작업의 평균 시간 ms
hadoop_hbase_closetime_median 닫기 작업의 중앙값 시간 ms
hadoop_hbase_closetime_min 닫기 작업의 최소 시간 ms
hadoop_hbase_closetime_num_ops 닫기 작업 수 count
hadoop_hbase_clusterrequests 클러스터 요청 수 count
hadoop_hbase_deadserveropenregions 비활성 서버의 열린 region 수 count
hadoop_hbase_droppedpuball 드롭된 PubAll 수 count
hadoop_hbase_errorrollrequest 오류 롤링 요청 수 count
hadoop_hbase_exceptions 예외 총수 count
hadoop_hbase_exceptions_callqueuetoobig 호출 큐가 너무 커서 발생한 예외 수 count
hadoop_hbase_exceptions_failedsanitycheckexception 실패한 무결성 검사 예외 수 count
hadoop_hbase_exceptions_multiresponsetoolarge 다중 응답 과대 예외 수 count
hadoop_hbase_exceptions_notservingregionexception region 미제공 예외 수 count
hadoop_hbase_exceptions_otherexceptions 기타 예외 수 count
hadoop_hbase_exceptions_outoforderscannernextexception 스캐너 다음 요소 순서 오류 예외 수 count
hadoop_hbase_exceptions_quotaexceeded 쿼터 초과 예외 수 count
hadoop_hbase_exceptions_regionmovedexception region 이동 예외 수 count
hadoop_hbase_exceptions_regiontoobusyexception region이 너무 바쁨 예외 수 count
hadoop_hbase_exceptions_requesttoobig 요청 과대 예외 수 count
hadoop_hbase_exceptions_rpcthrottling RPC 제한 예외 수 count
hadoop_hbase_exceptions_scannerresetexception 스캐너 재설정 예외 수 count
hadoop_hbase_exceptions_unknownscannerexception 알 수 없는 스캐너 예외 수 count
hadoop_hbase_fschecksumfailurecount 파일 시스템 체크섬 실패 카운트 count
hadoop_hbase_fspreadtime_25th_percentile 파일 시스템 전파 시간의 25백분위수 ms
hadoop_hbase_fspreadtime_75th_percentile 파일 시스템 전파 시간의 75백분위수 ms
hadoop_hbase_fspreadtime_90th_percentile 파일 시스템 전파 시간의 90백분위수 ms
hadoop_hbase_fspreadtime_95th_percentile 파일 시스템 전파 시간의 95백분위수 ms
hadoop_hbase_fspreadtime_98th_percentile 파일 시스템 전파 시간의 98백분위수 ms
hadoop_hbase_fspreadtime_99_9th_percentile 파일 시스템 전파 시간의 99.9백분위수 ms
hadoop_hbase_fspreadtime_99th_percentile 파일 시스템 전파 시간의 99백분위수 ms
hadoop_hbase_fspreadtime_max 파일 시스템 전파의 최대 시간 ms
hadoop_hbase_fspreadtime_mean 파일 시스템 전파의 평균 시간 ms
hadoop_hbase_fspreadtime_median 파일 시스템 전파의 중앙값 시간 ms
hadoop_hbase_fspreadtime_min 파일 시스템 전파의 최소 시간 ms
hadoop_hbase_fspreadtime_num_ops 파일 시스템 전파 작업 수 count
hadoop_hbase_fsreadtime_25th_percentile 파일 시스템 읽기 시간의 25백분위수 ms
hadoop_hbase_fsreadtime_75th_percentile 파일 시스템 읽기 시간의 75백분위수 ms
hadoop_hbase_fsreadtime_90th_percentile 파일 시스템 읽기 시간의 90백분위수 ms
hadoop_hbase_fsreadtime_95th_percentile 파일 시스템 읽기 시간의 95백분위수 ms
hadoop_hbase_fsreadtime_98th_percentile 파일 시스템 읽기 시간의 98백분위수 ms
hadoop_hbase_fsreadtime_99_9th_percentile 파일 시스템 읽기 시간의 99.9백분위수 ms
hadoop_hbase_fsreadtime_99th_percentile 파일 시스템 읽기 시간의 99백분위수 ms
hadoop_hbase_fsreadtime_max 파일 시스템 읽기의 최대 시간 ms
hadoop_hbase_fsreadtime_mean 파일 시스템 읽기의 평균 시간 ms
hadoop_hbase_fsreadtime_median 파일 시스템 읽기의 중앙값 시간 ms
hadoop_hbase_fsreadtime_min 파일 시스템 읽기의 최소 시간 ms
hadoop_hbase_fspreadtime_min 파일 시스템 읽기 작업 수 ms
hadoop_hbase_fswritetime_25th_percentile 파일 시스템 쓰기 시간의 25백분위수 ms
hadoop_hbase_fswritetime_75th_percentile 파일 시스템 쓰기 시간의 75백분위수 ms
hadoop_hbase_fswritetime_90th_percentile 파일 시스템 쓰기 시간의 90백분위수 ms
hadoop_hbase_fswritetime_95th_percentile 파일 시스템 쓰기 시간의 95백분위수 ms
hadoop_hbase_fswritetime_98th_percentile 파일 시스템 쓰기 시간의 98백분위수 ms
hadoop_hbase_fswritetime_99_9th_percentile 파일 시스템 쓰기 시간의 99.9백분위수 ms
hadoop_hbase_fswritetime_99th_percentile 파일 시스템 쓰기 시간의 99백분위수 ms
hadoop_hbase_fswritetime_max 파일 시스템 쓰기의 최대 시간 ms
hadoop_hbase_fswritetime_mean 파일 시스템 쓰기의 평균 시간 ms
hadoop_hbase_fswritetime_median 파일 시스템 쓰기의 중앙값 시간 ms

문서 평가

이 페이지가 도움이 되었나요?