콘텐츠로 이동

Ranger Tagsync

Ranger Tagsync 메트릭 정보 수집

설정

1.Ranger Tagsync 설정

1.1 jmx-exporter 다운로드

다운로드 주소:https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드

다운로드 주소:https://github.com/lrwh/jmx-exporter/blob/main/common.yml

1.3 Ranger Tagsync 시작 파라미터 조정

Ranger Tagsync의 시작 파라미터에 추가

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17144:/opt/jmx/common.yml

1.4 Ranger Tagsync 재시작

2. DataKit 수집기 설정

2.1 DataKit 설치

2.2 수집기 설정

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기를 사용해 직접 수집할 수 있습니다.

DataKit 설치 디렉터리conf.d/samples로 들어가서 prom.conf.sampleranger-tagsync.conf로 복사합니다.

cp prom.conf.sample ranger-tagsync.conf

ranger_tagsync.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17144/metrics"]
  source ="ranger-tagsync"
  [inputs.prom.tags]
    component = "ranger-tagsync" 
  interval = "10s"

기타 설정은 필요에 따라 조정, 조정 파라미터 설명:

  • urls:jmx-exporter 메트릭 주소이며, 여기에는 해당 구성요소가 노출하는 메트릭 URL을 입력합니다
  • source:수집기 별칭이며, 구분해서 사용하는 것을 권장합니다
  • keep_exist_metric_name: 메트릭 이름 유지
  • interval:수집 주기
  • inputs.prom.tags: 추가 tag를 새로 추가합니다

3. DataKit 재시작

DataKit 재시작

메트릭

Hadoop 메트릭 집합

Ranger Tagsync 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 주로 Ranger Tagsync 관련 메트릭 설명을 소개합니다

Metrics 설명 단위
hadoop_tagsync_countevents 발생한 이벤트 총수 count
hadoop_tagsync_counteventstime 이러한 이벤트를 처리하는 데 걸린 총 시간 ms
hadoop_tagsync_countuploads 업로드 작업의 총수 count
hadoop_tagsync_countuploadstime 업로드 작업을 처리하는 데 걸린 총 시간 count
hadoop_tagsync_droppedpuball 누락된 publish 이벤트 총수 count
hadoop_tagsync_gccounttotal 가비지 컬렉션(GC)의 총 횟수 count
hadoop_tagsync_gctimemax 가비지 컬렉션(GC)의 최대 소요 시간 ms
hadoop_tagsync_gctimetotal 가비지 컬렉션(GC)의 총 소요 시간 count
hadoop_tagsync_getgroupsavgtime 사용자 그룹을 가져오는 평균 시간 ms
hadoop_tagsync_getgroupsnumops 사용자 그룹을 가져오는 작업 횟수 count
hadoop_tagsync_loginfailureavgtime 로그인 실패의 평균 소요 시간 ms
hadoop_tagsync_loginfailurenumops 로그인 실패 횟수 count
hadoop_tagsync_loginsuccessavgtime 로그인 성공 평균 소요 시간 ms
hadoop_tagsync_loginsuccessnumops 로그인 성공 횟수 count
hadoop_tagsync_memorycurrent 현재 메모리 사용량 count
hadoop_tagsync_memorymax 최대 메모리 사용량 count
hadoop_tagsync_numactivesinks 활성 수신기(sinks) 수 count
hadoop_tagsync_numactivesources 활성 데이터 소스(sources) 수 count
hadoop_tagsync_numallsinks 모든 데이터 소스(sources)의 총수 count
hadoop_tagsync_processorsavailable 사용 가능한 프로세서 수 count
hadoop_tagsync_publishavgtime publish 작업의 평균 소요 시간 count
hadoop_tagsync_publishnumops publish 작업 횟수 count
hadoop_tagsync_renewalfailures 갱신 실패 횟수 count
hadoop_tagsync_renewalfailurestotal 총 갱신 실패 횟수 count
hadoop_tagsync_sink_jsonavgtime JSON 수신기의 평균 소요 시간 count
hadoop_tagsync_sink_jsondropped JSON 수신기에서 폐기된 메시지 수 count
hadoop_tagsync_sink_jsonnumops JSON 수신기 작업 횟수 count
hadoop_tagsync_sink_jsonqsize JSON 수신기 큐 크기 count
hadoop_tagsync_sink_prometheusavgtime Prometheus 수신기의 평균 소요 시간 count
hadoop_tagsync_sink_prometheusdropped Prometheus 수신기에서 폐기된 메시지 수 count
hadoop_tagsync_sink_prometheusnumops Prometheus 수신기 작업 횟수 count
hadoop_tagsync_sink_prometheusqsize Prometheus 수신기 큐 크기 count
hadoop_tagsync_snapshotavgtime 스냅샷 작업의 평균 소요 시간 count
hadoop_tagsync_snapshotnumops 스냅샷 작업 횟수 count
hadoop_tagsync_systemloadavg 시스템 평균 부하 count
hadoop_tagsync_threadsblocked 차단된 스레드 수 count
hadoop_tagsync_threadsbusy 사용 중인 스레드 수 count
hadoop_tagsync_threadsremaining 남은 스레드 수 count
hadoop_tagsync_threadswaiting 대기 중인 스레드 수 count

문서 평가

이 페이지가 도움이 되었나요?