Hadoop Yarn NodeManager¶

Yarn NodeManager のメトリクス情報を収集します。

インストールとデプロイ¶

NodeManager は Java で開発されているため、jmx-exporter を使ってメトリクス情報を収集できます。

1. NodeManager の設定¶

1.1 jmx-exporter をダウンロード¶

ダウンロード先：https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード¶

ダウンロード先：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-yarn-nodemanager.yml

1.3 NodeManager の起動パラメータ調整¶

nodemanager の起動パラメータに次を追加します。

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17108:/opt/jmx/jmx_node_manager.yml

1.4 NodeManager を再起動¶

2. DataKit コレクタの設定¶

2.1 DataKit のインストール¶

2.2 コレクタの設定¶

jmx-exporter により metrics URL を直接公開できるため、prom コレクタでそのまま収集できます。

DataKit のインストールディレクトリ の conf.d/samples に移動し、prom.conf.sample を nodemanager.conf としてコピーします。

cp prom.conf.sample nodemanager.conf

nodemanager.conf の内容を次のように調整します。

  urls = ["http://localhost:17108/metrics"]
  source ="yarn-nodemanager"
  [inputs.prom.tags]
    component = "yarn-nodemanager" 
  interval = "10s"

その他の設定は必要に応じて調整してください

、各パラメータの説明：

• urls：jmx-exporter のメトリクス URL。ここには、対象コンポーネントが公開するメトリクス URL を指定します
• source：コレクタの別名。識別しやすい名前にすることを推奨します
• keep_exist_metric_name: メトリクス名を保持します
• interval：収集間隔
• inputs.prom.tags: 追加の tag

3. DataKit を再起動¶

DataKit を再起動

メトリクス¶

Hadoop メトリクスセット¶

NodeManager のメトリクスは Hadoop メトリクスセットに含まれます。ここでは、NodeManager 関連のメトリクスを説明します。