Hadoop Yarn NodeManager¶

Yarn NodeManager 메트릭 정보를 수집합니다.

설치 및 배포¶

NodeManager는 Java 언어로 개발되어 있으므로 jmx-exporter 방식으로 메트릭 정보를 수집할 수 있습니다.

1. NodeManager 설정¶

1.1 jmx-exporter 다운로드¶

다운로드 주소: https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드¶

다운로드 주소: https://github.com/lrwh/jmx-exporter/blob/main/hadoop-yarn-nodemanager.yml

1.3 NodeManager 시작 파라미터 조정¶

nodemanager의 시작 파라미터에 추가합니다.

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17108:/opt/jmx/jmx_node_manager.yml

1.4 NodeManager 재시작¶

2. DataKit 수집기 설정¶

2.1 DataKit 설치¶

2.2 수집기 설정¶

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 직접 수집할 수 있습니다.

DataKit 설치 디렉터리의 conf.d/samples로 이동한 뒤 prom.conf.sample을 nodemanager.conf로 복사합니다.

cp prom.conf.sample nodemanager.conf

nodemanager.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17108/metrics"]
  source ="yarn-nodemanager"
  [inputs.prom.tags]
    component = "yarn-nodemanager" 
  interval = "10s"

기타 설정은 필요에 따라 조정

, 파라미터 설명:

• urls：jmx-exporter 메트릭 주소로, 여기에는 해당 구성 요소가 노출한 메트릭 URL을 입력합니다
• source：수집기 별칭으로, 구분해서 사용하는 것을 권장합니다
• keep_exist_metric_name: 메트릭 이름 유지
• interval：수집 간격
• inputs.prom.tags: 추가 tag 삽입

3. DataKit 재시작¶

DataKit 재시작

메트릭¶

Hadoop 메트릭 집합¶

NodeManager 메트릭은 Hadoop 메트릭 집합 아래에 있으며, 여기서는 주로 NodeManager 관련 메트릭 설명을 소개합니다.