Ranger Tagsync
Ranger Tagsync 메트릭 정보 수집
설정¶
1.Ranger Tagsync 설정¶
1.1 jmx-exporter 다운로드¶
다운로드 주소:https://github.com/prometheus/jmx_exporter
1.2 jmx 스크립트 다운로드¶
다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/common.yml
1.3 Ranger Tagsync 시작 파라미터 조정¶
Ranger Tagsync의 시작 파라미터에 추가
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17144:/opt/jmx/common.yml
1.4 Ranger Tagsync 재시작¶
2. DataKit 수집기 설정¶
2.1 DataKit 설치¶
2.2 수집기 설정¶
jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기를 사용해 직접 수집할 수 있습니다.
DataKit 설치 디렉터리의 conf.d/samples로 들어가서 prom.conf.sample을 ranger-tagsync.conf로 복사합니다.
cp prom.conf.sample ranger-tagsync.conf
ranger_tagsync.conf 내용을 다음과 같이 조정합니다.
urls = ["http://localhost:17144/metrics"]
source ="ranger-tagsync"
[inputs.prom.tags]
component = "ranger-tagsync"
interval = "10s"
기타 설정은 필요에 따라 조정, 조정 파라미터 설명:
- urls:
jmx-exporter메트릭 주소이며, 여기에는 해당 구성요소가 노출하는 메트릭 URL을 입력합니다 - source:수집기 별칭이며, 구분해서 사용하는 것을 권장합니다
- keep_exist_metric_name: 메트릭 이름 유지
- interval:수집 주기
- inputs.prom.tags: 추가 tag를 새로 추가합니다
3. DataKit 재시작¶
메트릭¶
Hadoop 메트릭 집합¶
Ranger Tagsync 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 주로 Ranger Tagsync 관련 메트릭 설명을 소개합니다
| Metrics | 설명 | 단위 |
|---|---|---|
hadoop_tagsync_countevents |
발생한 이벤트 총수 |
count |
hadoop_tagsync_counteventstime |
이러한 이벤트를 처리하는 데 걸린 총 시간 |
ms |
hadoop_tagsync_countuploads |
업로드 작업의 총수 |
count |
hadoop_tagsync_countuploadstime |
업로드 작업을 처리하는 데 걸린 총 시간 |
count |
hadoop_tagsync_droppedpuball |
누락된 publish 이벤트 총수 |
count |
hadoop_tagsync_gccounttotal |
가비지 컬렉션(GC)의 총 횟수 |
count |
hadoop_tagsync_gctimemax |
가비지 컬렉션(GC)의 최대 소요 시간 |
ms |
hadoop_tagsync_gctimetotal |
가비지 컬렉션(GC)의 총 소요 시간 |
count |
hadoop_tagsync_getgroupsavgtime |
사용자 그룹을 가져오는 평균 시간 |
ms |
hadoop_tagsync_getgroupsnumops |
사용자 그룹을 가져오는 작업 횟수 |
count |
hadoop_tagsync_loginfailureavgtime |
로그인 실패의 평균 소요 시간 |
ms |
hadoop_tagsync_loginfailurenumops |
로그인 실패 횟수 |
count |
hadoop_tagsync_loginsuccessavgtime |
로그인 성공 평균 소요 시간 |
ms |
hadoop_tagsync_loginsuccessnumops |
로그인 성공 횟수 |
count |
hadoop_tagsync_memorycurrent |
현재 메모리 사용량 |
count |
hadoop_tagsync_memorymax |
최대 메모리 사용량 |
count |
hadoop_tagsync_numactivesinks |
활성 수신기(sinks) 수 |
count |
hadoop_tagsync_numactivesources |
활성 데이터 소스(sources) 수 |
count |
hadoop_tagsync_numallsinks |
모든 데이터 소스(sources)의 총수 |
count |
hadoop_tagsync_processorsavailable |
사용 가능한 프로세서 수 |
count |
hadoop_tagsync_publishavgtime |
publish 작업의 평균 소요 시간 |
count |
hadoop_tagsync_publishnumops |
publish 작업 횟수 |
count |
hadoop_tagsync_renewalfailures |
갱신 실패 횟수 |
count |
hadoop_tagsync_renewalfailurestotal |
총 갱신 실패 횟수 |
count |
hadoop_tagsync_sink_jsonavgtime |
JSON 수신기의 평균 소요 시간 |
count |
hadoop_tagsync_sink_jsondropped |
JSON 수신기에서 폐기된 메시지 수 |
count |
hadoop_tagsync_sink_jsonnumops |
JSON 수신기 작업 횟수 |
count |
hadoop_tagsync_sink_jsonqsize |
JSON 수신기 큐 크기 |
count |
hadoop_tagsync_sink_prometheusavgtime |
Prometheus 수신기의 평균 소요 시간 |
count |
hadoop_tagsync_sink_prometheusdropped |
Prometheus 수신기에서 폐기된 메시지 수 |
count |
hadoop_tagsync_sink_prometheusnumops |
Prometheus 수신기 작업 횟수 |
count |
hadoop_tagsync_sink_prometheusqsize |
Prometheus 수신기 큐 크기 |
count |
hadoop_tagsync_snapshotavgtime |
스냅샷 작업의 평균 소요 시간 |
count |
hadoop_tagsync_snapshotnumops |
스냅샷 작업 횟수 |
count |
hadoop_tagsync_systemloadavg |
시스템 평균 부하 |
count |
hadoop_tagsync_threadsblocked |
차단된 스레드 수 |
count |
hadoop_tagsync_threadsbusy |
사용 중인 스레드 수 |
count |
hadoop_tagsync_threadsremaining |
남은 스레드 수 |
count |
hadoop_tagsync_threadswaiting |
대기 중인 스레드 수 |
count |