Hadoop HDFS NameNode¶

HDFS namenode 지표 정보를 수집합니다.

설치 및 배포¶

NameNode는 Java 언어로 개발되었으므로, jmx-exporter 방식으로 지표 정보를 수집할 수 있습니다.

1. NameNode 설정¶

1.1 jmx-exporter 다운로드¶

다운로드 주소：https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드¶

다운로드 주소：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-namenode.yml

1.3 NameNode 시작 인자 조정¶

namenode의 시작 인자에 다음을 추가합니다.

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17107:/opt/jmx/hadoop-hdfs-namenode.yml

1.4 NameNode 재시작¶

2. DataKit 수집기 설정¶

2.1 DataKit 설치¶

2.2 수집기 설정¶

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.

DataKit 설치 디렉터리의 conf.d/samples로 이동해 prom.conf.sample을 namenode.conf로 복사합니다.

cp prom.conf.sample namenode.conf

namenode.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17107/metrics"]
  source ="hdfs-namenode"
  [inputs.prom.tags]
    component = "hdfs-namenode" 
  interval = "10s"

다른 설정은 필요에 따라 조정하세요

, 파라미터 설명：

• urls：jmx-exporter 지표 주소이며, 여기에 해당 구성 요소가 노출한 지표 url을 입력합니다.
• source：수집기 별칭이며, 구분되도록 설정하는 것을 권장합니다.
• keep_exist_metric_name: 지표 이름 유지
• interval：수집 간격
• inputs.prom.tags: 추가 tag 설정

3. DataKit 재시작¶

DataKit 재시작

지표¶

Hadoop 지표 집합¶

NameNode 지표는 Hadoop 지표 집합 아래에 있으며, 여기서는 주로 NameNode 관련 지표 설명을 소개합니다.