Hadoop Yarn NodeManager¶

采集 Yarn NodeManager 指标信息。

安装部署¶

由于 NodeManager 是 java 语言开发的，所以可以采用 jmx-exporter 的方式采集指标信息。

1. NodeManager 配置¶

1.1 下载 jmx-exporter¶

下载地址：https://github.com/prometheus/jmx_exporter

1.2 下载 jmx 脚本¶

下载地址：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-yarn-nodemanager.yml

1.3 NodeManager 启动参数调整¶

在 nodemanager 的启动参数添加

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17108:/opt/jmx/jmx_node_manager.yml

1.4 重启 NodeManager¶

2. DataKit 采集器配置¶

2.1 安装 DataKit¶

2.2 配置采集器¶

通过 jmx-exporter 可以直接暴露metrics url，所以可以直接通过prom采集器进行采集。

进入 DataKit 安装目录下的 conf.d/samples ，复制 prom.conf.sample 为 nodemanager.conf。

cp prom.conf.sample nodemanager.conf

调整nodemanager.conf内容如下：

  urls = ["http://localhost:17108/metrics"]
  source ="yarn-nodemanager"
  [inputs.prom.tags]
    component = "yarn-nodemanager" 
  interval = "10s"

其他配置按需调整

，调整参数说明 ：

• urls：jmx-exporter指标地址，这里填写对应组件暴露出来的指标 url
• source：采集器别名，建议做区分
• keep_exist_metric_name: 保持指标名称
• interval：采集间隔
• inputs.prom.tags: 新增额外的 tag

3. 重启 DataKit¶

重启 DataKit

指标¶

Hadoop 指标集¶

NodeManager 指标位于 Hadoop 指标集下，这里主要介绍 NodeManager 相关指标说明