Hadoop Yarn ResourceManager¶

Yarn ResourceManager 메트릭 정보를 수집합니다.

설치 및 배포¶

ResourceManager는 Java로 개발되었기 때문에 jmx-exporter 방식으로 메트릭 정보를 수집할 수 있습니다.

1. ResourceManager 설정¶

1.1 jmx-exporter 다운로드¶

다운로드 주소：https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드¶

다운로드 주소：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-yarn-resourcemanager.yml

1.3 ResourceManager 시작 파라미터 조정¶

resourcemanager의 시작 파라미터에 추가

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17109:/opt/jmx/jmx_resource_manager.yml

1.4 ResourceManager 재시작¶

2. DataKit 수집기 설정¶

2.1 DataKit 설치¶

2.2 수집기 설정¶

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기를 사용해 직접 수집할 수 있습니다.

DataKit 설치 디렉터리의 conf.d/samples로 이동한 뒤, prom.conf.sample을 resourcemanager.conf로 복사합니다.

cp prom.conf.sample resourcemanager.conf

resourcemanager.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17109/metrics"]
  source ="yarn-resourcemanager"
  [inputs.prom.tags]
    component = "yarn-resourcemanager" 
  interval = "10s"

기타 설정은 필요에 따라 조정

, 파라미터 설명은 다음과 같습니다.

• urls：jmx-exporter 메트릭 주소, 여기에는 해당 컴포넌트가 노출한 메트릭 URL을 입력합니다.
• source：수집기 별칭, 구분할 수 있도록 설정하는 것을 권장합니다.
• keep_exist_metric_name: 메트릭 이름 유지
• interval：수집 간격
• inputs.prom.tags: 추가 tag

3. DataKit 재시작¶

DataKit 재시작

메트릭¶

Hadoop 메트릭 세트¶

ResourceManager 메트릭은 Hadoop 메트릭 세트에 있습니다. 여기서는 주로 ResourceManager 관련 메트릭 설명을 소개합니다.