Hadoop Yarn ResourceManager¶

Yarn ResourceManager のメトリクス情報を収集します。

インストールとデプロイ¶

ResourceManager は Java で開発されているため、jmx-exporter を使ってメトリクス情報を収集できます。

1. ResourceManager の設定¶

1.1 jmx-exporter をダウンロード¶

ダウンロード先：https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード¶

ダウンロード先：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-yarn-resourcemanager.yml

1.3 ResourceManager の起動パラメータを調整¶

resourcemanager の起動パラメータに以下を追加します。

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17109:/opt/jmx/jmx_resource_manager.yml

1.4 ResourceManager を再起動¶

2. DataKit 収集器の設定¶

2.1 DataKit をインストール¶

2.2 収集器を設定¶

jmx-exporter により metrics URL を直接公開できるため、prom 収集器を使って直接収集できます。

DataKit インストールディレクトリ の conf.d/samples に移動し、prom.conf.sample を resourcemanager.conf にコピーします。

cp prom.conf.sample resourcemanager.conf

resourcemanager.conf の内容を次のように調整します。

  urls = ["http://localhost:17109/metrics"]
  source ="yarn-resourcemanager"
  [inputs.prom.tags]
    component = "yarn-resourcemanager" 
  interval = "10s"

その他の設定は必要に応じて調整してください

、パラメータの説明は次のとおりです。

• urls：jmx-exporter のメトリクス URL。ここには対象コンポーネントが公開しているメトリクス URL を記入します
• source：収集器の別名。識別しやすい名前を推奨します
• keep_exist_metric_name: メトリクス名を保持します
• interval：収集間隔
• inputs.prom.tags: 追加の tag を設定します

3. DataKit を再起動¶

DataKit を再起動

メトリクス¶

Hadoop メトリクスセット¶

ResourceManager のメトリクスは Hadoop メトリクスセットの下にあります。ここでは主に ResourceManager 関連メトリクスの説明を紹介します。