콘텐츠로 이동

Ranger Admin

Ranger Admin 메트릭 정보 수집

설정

1.Ranger Admin 설정

1.1 jmx-exporter 다운로드

다운로드 주소:https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드

다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/common.yml

1.3 Ranger Admin 시작 인자 조정

Ranger Admin의 시작 인자에 추가

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17143:/opt/jmx/common.yml

1.4 Ranger Admin 재시작

2. DataKit 수집기 설정

2.1 DataKit 설치

2.2 수집기 설정

jmx-exporter를 통해 metrics url을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.

DataKit 설치 디렉터리conf.d/samples로 들어가서 prom.conf.sampleranger-admin.conf로 복사합니다.

cp prom.conf.sample ranger-admin.conf

ranger_admin.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17143/metrics"]
  source ="ranger-admin"
  [inputs.prom.tags]
    component = "ranger-admin" 
  interval = "10s"

다른 설정은 필요에 따라 조정, 조정 항목 설명:

  • urls:jmx-exporter 메트릭 주소입니다. 여기에는 해당 구성 요소가 노출한 메트릭 URL을 입력합니다.
  • source:수집기 별칭입니다. 구분할 수 있게 지정하는 것을 권장합니다.
  • keep_exist_metric_name: 메트릭 이름 유지
  • interval:수집 간격
  • inputs.prom.tags: 추가 tag를 덧붙입니다.

3. DataKit 재시작

DataKit 재시작

메트릭

Hadoop 메트릭 집합

Ranger Admin 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 Ranger Admin 관련 메트릭을 주로 설명합니다.

Metrics 설명 단위
hadoop_admin_contextenrichercount 컨텍스트 강화기의 수 count
hadoop_admin_contextenrichercounttag 특정 태그가 있는 컨텍스트 강화기의 수 count
hadoop_admin_denyconditioncount 거부 조건의 수 count
hadoop_admin_denyconditioncounttag 특정 태그가 있는 거부 조건의 수 count
hadoop_admin_droppedpuball 폐기된 게시 작업의 총 수 count
hadoop_admin_gccounttotal 가비지 컬렉션(GC)의 총 횟수 count
hadoop_admin_gctimemax 가비지 컬렉션(GC)의 최대 소요 시간 ms
hadoop_admin_gctimetotal 가비지 컬렉션(GC)의 총 소요 시간 ms
hadoop_admin_getgroupsavgtime 사용자 그룹 조회의 평균 시간 ms
hadoop_admin_getgroupsnumops 사용자 그룹 조회 작업 수 count
hadoop_admin_groupcount 사용자 그룹 수 count
hadoop_admin_loginfailureavgtime 로그인 실패의 평균 소요 시간 ms
hadoop_admin_loginfailurenumops 로그인 실패 횟수 count
hadoop_admin_loginsuccessavgtime 로그인 성공의 평균 소요 시간 ms
hadoop_admin_loginsuccessnumops 로그인 성공 횟수 count
hadoop_admin_maskingcount 데이터 마스킹 횟수 count
hadoop_admin_memorycurrent 현재 메모리 사용량 count
hadoop_admin_memorymax 최대 메모리 사용량 count
hadoop_admin_numactivesinks 활성 수신기(sinks) 수 count
hadoop_admin_numactivesources 활성 데이터 소스(sources) 수 count
hadoop_admin_numallsinks 전체 수신기(sinks) 총수 count
hadoop_admin_numallsources 전체 데이터 소스(sources) 총수 count
hadoop_admin_processorsavailable 사용 가능한 프로세서 수 count
hadoop_admin_publishavgtime 게시 작업의 평균 소요 시간 ms
hadoop_admin_publishnumops 게시 작업 횟수 count
hadoop_admin_renewalfailures 갱신 실패 횟수 count
hadoop_admin_renewalfailurestotal 갱신 실패 총 횟수 count
hadoop_admin_resourceaccesscount 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountatlas Atlas 리소스 접근 횟수 count
hadoop_admin_resourceaccesscounthbase HBase 리소스 접근 횟수 count
hadoop_admin_resourceaccesscounthdfs HDFS 리소스 접근 횟수 count
hadoop_admin_resourceaccesscounthive Hive 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountkafka_connect Kafka Connect 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountkms KMS(키 관리 시스템) 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountknox Knox 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountkudu Kudu 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountozone Ozone 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountsolr Solr 리소스 접근 횟수 count
hadoop_admin_resourceaccesscounttag 특정 태그가 있는 리소스 접근 횟수 count
hadoop_admin_resourceaccesscountyarn ARN(아마존 리소스 이름)을 사용하는 리소스 접근 횟수 count
hadoop_admin_rowfilteringcount 행 필터링 횟수 count
hadoop_admin_servicecount 서비스 총수 count
hadoop_admin_servicecountatlas Atlas 서비스 수 count
hadoop_admin_servicecounthbase HBase 서비스 수 count
hadoop_admin_servicecounthdfs HDFS 서비스 수 count
hadoop_admin_servicecounthive Hive 서비스 수 count
hadoop_admin_servicecountkafka Kafka 서비스 수 count
hadoop_admin_servicecountkafka_connect Kafka Connect 서비스 수 count
hadoop_admin_servicecountkms KMS 서비스 수 count
hadoop_admin_servicecountknox Knox 서비스 수 count
hadoop_admin_servicecountkudu Kudu 서비스 수 count
hadoop_admin_servicecountsolr Solr 서비스 수 count
hadoop_admin_servicecounttag 특정 태그가 있는 서비스 수 count
hadoop_admin_servicecountyarn ARN을 사용하는 서비스 수 count
hadoop_admin_sink_jsonavgtime JSON 수신기의 평균 소요 시간 ms
hadoop_admin_sink_jsondropped JSON 수신기에서 폐기된 메시지 수 count
hadoop_admin_sink_jsonnumops JSON 수신기 작업 수 count
hadoop_admin_sink_jsonqsize JSON 수신기 큐 크기 count
hadoop_admin_sink_prometheusavgtime Prometheus 수신기의 평균 소요 시간 count
hadoop_admin_sink_prometheusdropped Prometheus 수신기에서 폐기된 메시지 수 count
hadoop_admin_sink_prometheusnumops Prometheus 수신기 작업 수 count
hadoop_admin_sink_prometheusqsize Prometheus 수신기 큐 크기 count
hadoop_admin_snapshotavgtime 스냅샷 작업의 평균 소요 시간 count
hadoop_admin_snapshotnumops 스냅샷 작업 횟수 count
hadoop_admin_systemloadavg 시스템 평균 부하 count
hadoop_admin_threadsblocked 차단된 스레드 수 count
hadoop_admin_threadsbusy 바쁜 스레드 수 count
hadoop_admin_threadsremaining 남은 스레드 수 count
hadoop_admin_threadswaiting 대기 중인 스레드 수 count
hadoop_admin_usercount 총 사용자 수 count
hadoop_admin_systemloadavg 시스템 평균 부하 count
hadoop_admin_usercountsysadmin 시스템 관리자 사용자 수 count
hadoop_admin_usercountuser 일반 사용자 수 count

문서 평가

이 페이지가 도움이 되었나요?