Hadoop HDFS DataNode¶

HDFS DataNode のメトリクス情報を収集します。

インストールとデプロイ¶

DataNode は Java で開発されているため、jmx-exporter を使ってメトリクス情報を収集できます。

1. DataNode の設定¶

1.1 jmx-exporter をダウンロード¶

ダウンロード先：https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード¶

ダウンロード先：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-datanode.yml

1.3 DataNode の起動パラメータを調整¶

datanode の起動パラメータに追加します

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17106:/opt/jmx/hadoop-hdfs-datanode.yml

1.4 DataNode を再起動¶

2. DataKit コレクタ設定¶

2.1 DataKit をインストール¶

2.2 コレクタを設定¶

jmx-exporter によりmetrics URL を直接公開できるため、prom コレクタで直接収集できます。

DataKit のインストールディレクトリ 配下の conf.d/samples に移動し、prom.conf.sample を datanode.conf にコピーします。

cp prom.conf.sample datanode.conf

datanode.conf の内容を次のように調整します。

  urls = ["http://localhost:17106/metrics"]
  source ="hdfs-datanode"
  [inputs.prom.tags]
    component = "hdfs-datanode" 
  interval = "10s"

その他の設定は必要に応じて調整してください

、パラメータの説明：

• urls：jmx-exporter のメトリクスアドレス。ここには、対象コンポーネントが公開しているメトリクス URL を設定します
• source：コレクタの別名。区別できるようにすることを推奨します
• keep_exist_metric_name: メトリクス名を保持
• interval：収集間隔
• inputs.prom.tags: 追加タグを設定

3. DataKit を再起動¶

DataKit を再起動

メトリクス¶

Hadoop メトリクスセット¶

DataNode のメトリクスは Hadoop メトリクスセット配下にあり、ここでは主に DataNode 関連メトリクスを説明します。