Ranger Usersync
Ranger Usersync 메트릭 정보 수집
구성¶
1.Ranger Usersync 구성¶
1.1 jmx-exporter 다운로드¶
다운로드 주소:https://github.com/prometheus/jmx_exporter
1.2 jmx 스크립트 다운로드¶
다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/common.yml
1.3 Ranger Usersync 시작 매개변수 조정¶
Ranger Usersync의 시작 매개변수에 추가
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17145:/opt/jmx/common.yml
1.4 Ranger Usersync 재시작¶
2. DataKit 수집기 구성¶
2.1 DataKit 설치¶
2.2 수집기 구성¶
jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 직접 수집할 수 있습니다.
DataKit 설치 디렉터리의 conf.d/samples로 이동한 뒤 prom.conf.sample을 ranger-usersync.conf로 복사합니다.
cp prom.conf.sample ranger-usersync.conf
ranger_usersync.conf 내용을 다음과 같이 조정합니다.
urls = ["http://localhost:17145/metrics"]
source ="ranger-usersync"
[inputs.prom.tags]
component = "ranger-usersync"
interval = "10s"
기타 설정은 필요에 따라 조정, 조정 매개변수 설명:
- urls:
jmx-exporter메트릭 주소, 여기에는 해당 구성 요소가 노출한 메트릭 URL을 입력합니다 - source:수집기 별칭, 구분을 위해 사용하는 것을 권장합니다
- keep_exist_metric_name: 메트릭 이름 유지
- interval:수집 간격
- inputs.prom.tags: 추가 tag 설정
3. DataKit 재시작¶
메트릭¶
Hadoop 메트릭 세트¶
Ranger Usersync 메트릭은 Hadoop 메트릭 세트에 있으며, 여기서는 주로 Ranger Usersync 관련 메트릭을 설명합니다.
| Metrics | 설명 | 단위 |
|---|---|---|
hadoop_usersync_addgroupcountsuccess |
사용자 그룹 추가 성공 횟수 |
count |
hadoop_usersync_addusercountsuccess |
사용자 추가 성공 횟수 |
count |
hadoop_usersync_auditcountsuccess |
감사 실행 성공 횟수 |
count |
hadoop_usersync_countgroup |
총 사용자 그룹 수 |
count |
hadoop_usersync_countgroupuser |
사용자 그룹 내 총 사용자 수 |
count |
hadoop_usersync_countuser |
총 사용자 수 |
count |
hadoop_usersync_droppedpuball |
누락된 게시 이벤트 총 수 |
count |
hadoop_usersync_gccounttotal |
가비지 컬렉션(GC) 총 횟수 |
count |
hadoop_usersync_gctimemax |
가비지 컬렉션(GC) 최대 소요 시간 |
count |
hadoop_usersync_gctimetotal |
가비지 컬렉션(GC) 총 소요 시간 |
count |
hadoop_usersync_getgroupsavgtime |
사용자 그룹 조회 평균 시간 |
count |
hadoop_usersync_getgroupsnumops |
사용자 그룹 조회 작업 횟수 |
count |
hadoop_usersync_groupusercountsuccess |
사용자 그룹 사용자 수 통계 성공 횟수 |
count |
hadoop_usersync_loginfailureavgtime |
로그인 실패 평균 소요 시간 |
ms |
hadoop_usersync_loginfailurenumops |
로그인 실패 횟수 |
count |
hadoop_usersync_loginsuccessavgtime |
로그인 성공 평균 소요 시간 |
ms |
hadoop_usersync_loginsuccessnumops |
로그인 성공 횟수 |
count |
hadoop_usersync_memorycurrent |
현재 메모리 사용량 |
byte |
hadoop_usersync_memorymax |
최대 메모리 사용량 |
byte |
hadoop_usersync_numactivesinks |
활성 sink 수 |
count |
hadoop_usersync_numactivesources |
활성 source 수 |
count |
hadoop_usersync_numallsinks |
전체 sink 총수 |
count |
hadoop_usersync_numallsources |
전체 source 총수 |
count |
hadoop_usersync_processorsavailable |
사용 가능한 프로세서 수 |
count |
hadoop_usersync_publishavgtime |
게시 작업 평균 소요 시간 |
ms |
hadoop_usersync_publishnumops |
게시 작업 횟수 |
count |
hadoop_usersync_renewalfailures |
갱신 실패 횟수 |
count |
hadoop_usersync_sink_jsonavgtime |
JSON sink 평균 소요 시간 |
count |
hadoop_usersync_sink_jsondropped |
JSON sink가 버린 메시지 수 |
count |
hadoop_usersync_sink_jsonnumops |
JSON sink 작업 횟수 |
count |
hadoop_usersync_sink_jsonqsize |
JSON sink 큐 크기 |
count |
hadoop_usersync_sink_prometheusavgtime |
Prometheus sink 평균 소요 시간 |
count |
hadoop_usersync_sink_prometheusdropped |
Prometheus sink가 버린 메시지 수 |
count |
hadoop_usersync_sink_prometheusnumops |
Prometheus sink 작업 횟수 |
count |
hadoop_usersync_sink_prometheusqsize |
Prometheus sink 큐 크기 |
count |
hadoop_usersync_snapshotavgtime |
스냅샷 작업 평균 소요 시간 |
ms |
hadoop_usersync_snapshotnumops |
스냅샷 작업 횟수 |
count |
hadoop_usersync_systemloadavg |
시스템 평균 부하 |
count |
hadoop_usersync_threadsblocked |
차단된 스레드 수 |
count |
hadoop_usersync_threadsremaining |
남은 스레드 수 |
count |
hadoop_usersync_threadswaiting |
대기 중인 스레드 수 |
count |