Hadoop HDFS NameNode¶

HDFS NameNode のメトリクス情報を収集します。

インストールとデプロイ¶

NameNode は Java で開発されているため、jmx-exporter を使ってメトリクスを収集できます。

1. NameNode の設定¶

1.1 jmx-exporter をダウンロード¶

ダウンロード先：https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード¶

ダウンロード先：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-namenode.yml

1.3 NameNode の起動パラメータ調整¶

namenode の起動パラメータに追加します。

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17107:/opt/jmx/hadoop-hdfs-namenode.yml

1.4 NameNode を再起動¶

2. DataKit コレクタ設定¶

2.1 DataKit をインストール¶

2.2 コレクタを設定¶

jmx-exporter で metrics URL を直接公開できるため、prom コレクタでそのまま収集できます。

DataKit のインストールディレクトリ の conf.d/samples に移動し、prom.conf.sample を namenode.conf にコピーします。

cp prom.conf.sample namenode.conf

namenode.conf の内容を次のように調整します。

  urls = ["http://localhost:17107/metrics"]
  source ="hdfs-namenode"
  [inputs.prom.tags]
    component = "hdfs-namenode" 
  interval = "10s"

その他の設定は必要に応じて調整してください

、調整パラメータの説明は次のとおりです。

• urls：jmx-exporter のメトリクスアドレス。ここには対象コンポーネントが公開しているメトリクス URL を指定します
• source：コレクタの別名。識別しやすい名前を推奨します
• keep_exist_metric_name: メトリクス名を保持します
• interval：収集間隔
• inputs.prom.tags: 追加の tag を設定します

3. DataKit を再起動¶

DataKit を再起動

メトリクス¶

Hadoop メトリクスセット¶

NameNode のメトリクスは Hadoop メトリクスセットに含まれます。ここでは主に NameNode 関連メトリクスを説明します。