Ranger Admin
Ranger Admin 메트릭 정보 수집
설정¶
1.Ranger Admin 설정¶
1.1 jmx-exporter 다운로드¶
다운로드 주소:https://github.com/prometheus/jmx_exporter
1.2 jmx 스크립트 다운로드¶
다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/common.yml
1.3 Ranger Admin 시작 인자 조정¶
Ranger Admin의 시작 인자에 추가
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17143:/opt/jmx/common.yml
1.4 Ranger Admin 재시작¶
2. DataKit 수집기 설정¶
2.1 DataKit 설치¶
2.2 수집기 설정¶
jmx-exporter를 통해 metrics url을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.
DataKit 설치 디렉터리의 conf.d/samples로 들어가서 prom.conf.sample을 ranger-admin.conf로 복사합니다.
cp prom.conf.sample ranger-admin.conf
ranger_admin.conf 내용을 다음과 같이 조정합니다.
urls = ["http://localhost:17143/metrics"]
source ="ranger-admin"
[inputs.prom.tags]
component = "ranger-admin"
interval = "10s"
다른 설정은 필요에 따라 조정, 조정 항목 설명:
- urls:
jmx-exporter메트릭 주소입니다. 여기에는 해당 구성 요소가 노출한 메트릭 URL을 입력합니다. - source:수집기 별칭입니다. 구분할 수 있게 지정하는 것을 권장합니다.
- keep_exist_metric_name: 메트릭 이름 유지
- interval:수집 간격
- inputs.prom.tags: 추가 tag를 덧붙입니다.
3. DataKit 재시작¶
메트릭¶
Hadoop 메트릭 집합¶
Ranger Admin 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 Ranger Admin 관련 메트릭을 주로 설명합니다.
| Metrics | 설명 | 단위 |
|---|---|---|
hadoop_admin_contextenrichercount |
컨텍스트 강화기의 수 |
count |
hadoop_admin_contextenrichercounttag |
특정 태그가 있는 컨텍스트 강화기의 수 |
count |
hadoop_admin_denyconditioncount |
거부 조건의 수 |
count |
hadoop_admin_denyconditioncounttag |
특정 태그가 있는 거부 조건의 수 |
count |
hadoop_admin_droppedpuball |
폐기된 게시 작업의 총 수 |
count |
hadoop_admin_gccounttotal |
가비지 컬렉션(GC)의 총 횟수 |
count |
hadoop_admin_gctimemax |
가비지 컬렉션(GC)의 최대 소요 시간 |
ms |
hadoop_admin_gctimetotal |
가비지 컬렉션(GC)의 총 소요 시간 |
ms |
hadoop_admin_getgroupsavgtime |
사용자 그룹 조회의 평균 시간 |
ms |
hadoop_admin_getgroupsnumops |
사용자 그룹 조회 작업 수 |
count |
hadoop_admin_groupcount |
사용자 그룹 수 |
count |
hadoop_admin_loginfailureavgtime |
로그인 실패의 평균 소요 시간 |
ms |
hadoop_admin_loginfailurenumops |
로그인 실패 횟수 |
count |
hadoop_admin_loginsuccessavgtime |
로그인 성공의 평균 소요 시간 |
ms |
hadoop_admin_loginsuccessnumops |
로그인 성공 횟수 |
count |
hadoop_admin_maskingcount |
데이터 마스킹 횟수 |
count |
hadoop_admin_memorycurrent |
현재 메모리 사용량 |
count |
hadoop_admin_memorymax |
최대 메모리 사용량 |
count |
hadoop_admin_numactivesinks |
활성 수신기(sinks) 수 |
count |
hadoop_admin_numactivesources |
활성 데이터 소스(sources) 수 |
count |
hadoop_admin_numallsinks |
전체 수신기(sinks) 총수 |
count |
hadoop_admin_numallsources |
전체 데이터 소스(sources) 총수 |
count |
hadoop_admin_processorsavailable |
사용 가능한 프로세서 수 |
count |
hadoop_admin_publishavgtime |
게시 작업의 평균 소요 시간 |
ms |
hadoop_admin_publishnumops |
게시 작업 횟수 |
count |
hadoop_admin_renewalfailures |
갱신 실패 횟수 |
count |
hadoop_admin_renewalfailurestotal |
갱신 실패 총 횟수 |
count |
hadoop_admin_resourceaccesscount |
리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountatlas |
Atlas 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscounthbase |
HBase 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscounthdfs |
HDFS 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscounthive |
Hive 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountkafka_connect |
Kafka Connect 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountkms |
KMS(키 관리 시스템) 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountknox |
Knox 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountkudu |
Kudu 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountozone |
Ozone 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountsolr |
Solr 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscounttag |
특정 태그가 있는 리소스 접근 횟수 |
count |
hadoop_admin_resourceaccesscountyarn |
ARN(아마존 리소스 이름)을 사용하는 리소스 접근 횟수 |
count |
hadoop_admin_rowfilteringcount |
행 필터링 횟수 |
count |
hadoop_admin_servicecount |
서비스 총수 |
count |
hadoop_admin_servicecountatlas |
Atlas 서비스 수 |
count |
hadoop_admin_servicecounthbase |
HBase 서비스 수 |
count |
hadoop_admin_servicecounthdfs |
HDFS 서비스 수 |
count |
hadoop_admin_servicecounthive |
Hive 서비스 수 |
count |
hadoop_admin_servicecountkafka |
Kafka 서비스 수 |
count |
hadoop_admin_servicecountkafka_connect |
Kafka Connect 서비스 수 |
count |
hadoop_admin_servicecountkms |
KMS 서비스 수 |
count |
hadoop_admin_servicecountknox |
Knox 서비스 수 |
count |
hadoop_admin_servicecountkudu |
Kudu 서비스 수 |
count |
hadoop_admin_servicecountsolr |
Solr 서비스 수 |
count |
hadoop_admin_servicecounttag |
특정 태그가 있는 서비스 수 |
count |
hadoop_admin_servicecountyarn |
ARN을 사용하는 서비스 수 |
count |
hadoop_admin_sink_jsonavgtime |
JSON 수신기의 평균 소요 시간 |
ms |
hadoop_admin_sink_jsondropped |
JSON 수신기에서 폐기된 메시지 수 |
count |
hadoop_admin_sink_jsonnumops |
JSON 수신기 작업 수 |
count |
hadoop_admin_sink_jsonqsize |
JSON 수신기 큐 크기 |
count |
hadoop_admin_sink_prometheusavgtime |
Prometheus 수신기의 평균 소요 시간 |
count |
hadoop_admin_sink_prometheusdropped |
Prometheus 수신기에서 폐기된 메시지 수 |
count |
hadoop_admin_sink_prometheusnumops |
Prometheus 수신기 작업 수 |
count |
hadoop_admin_sink_prometheusqsize |
Prometheus 수신기 큐 크기 |
count |
hadoop_admin_snapshotavgtime |
스냅샷 작업의 평균 소요 시간 |
count |
hadoop_admin_snapshotnumops |
스냅샷 작업 횟수 |
count |
hadoop_admin_systemloadavg |
시스템 평균 부하 |
count |
hadoop_admin_threadsblocked |
차단된 스레드 수 |
count |
hadoop_admin_threadsbusy |
바쁜 스레드 수 |
count |
hadoop_admin_threadsremaining |
남은 스레드 수 |
count |
hadoop_admin_threadswaiting |
대기 중인 스레드 수 |
count |
hadoop_admin_usercount |
총 사용자 수 |
count |
hadoop_admin_systemloadavg |
시스템 평균 부하 |
count |
hadoop_admin_usercountsysadmin |
시스템 관리자 사용자 수 |
count |
hadoop_admin_usercountuser |
일반 사용자 수 |
count |