Hadoop HDFS 데이터노드¶

HDFS 데이터노드 지표 정보를 수집합니다.

설치 및 배포¶

DataNode는 Java로 개발되어 있으므로, jmx-exporter 방식으로 지표 정보를 수집할 수 있습니다.

1. DataNode 설정¶

1.1 jmx-exporter 다운로드¶

다운로드 주소: https://github.com/prometheus/jmx_exporter

1.2 jmx 스크립트 다운로드¶

다운로드 주소: https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-datanode.yml

1.3 DataNode 시작 파라미터 조정¶

DataNode의 시작 파라미터에 다음을 추가합니다.

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17106:/opt/jmx/hadoop-hdfs-datanode.yml

1.4 DataNode 재시작¶

2. DataKit 수집기 설정¶

2.1 DataKit 설치¶

2.2 수집기 설정¶

jmx-exporter를 통해 metrics URL을 직접 노출할 수 있으므로, prom 수집기로 바로 수집할 수 있습니다.

DataKit 설치 디렉터리의 conf.d/samples로 이동한 뒤 prom.conf.sample을 datanode.conf로 복사합니다.

cp prom.conf.sample datanode.conf

datanode.conf 내용을 다음과 같이 조정합니다.

  urls = ["http://localhost:17106/metrics"]
  source ="hdfs-datanode"
  [inputs.prom.tags]
    component = "hdfs-datanode" 
  interval = "10s"

다른 설정은 필요에 따라 조정하세요

, 파라미터 설명은 다음과 같습니다.

• urls: jmx-exporter 지표 주소이며, 여기에는 해당 구성 요소가 노출한 지표 URL을 입력합니다
• source: 수집기 별칭이며, 구분할 수 있도록 사용하는 것을 권장합니다
• keep_exist_metric_name: 지표 이름 유지
• interval: 수집 간격
• inputs.prom.tags: 추가 tag 지정

3. DataKit 재시작¶

DataKit 재시작

지표¶

Hadoop 지표 집합¶

DataNode 지표는 Hadoop 지표 집합에 있으며, 여기서는 주로 DataNode 관련 지표를 설명합니다.