Hadoop HDFS NameNode¶

采集 HDFS namenode 指标信息。

安装部署¶

由于 NameNode 是 java 语言开发的，所以可以采用 jmx-exporter 的方式采集指标信息。

1. NameNode 配置¶

1.1 下载 jmx-exporter¶

下载地址：https://github.com/prometheus/jmx_exporter

1.2 下载 jmx 脚本¶

下载地址：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-namenode.yml

1.3 NameNode 启动参数调整¶

在 namenode 的启动参数添加

{{JAVA_GC_ARGS}} -javaagent:/opt/guance/jmx/jmx_exporter-1.0.1.jar=localhost:17107:/opt/guance/jmx/hadoop-hdfs-namenode.yml

1.4 重启 NameNode¶

2. DataKit 采集器配置¶

2.1 安装 DataKit¶

2.2 配置采集器¶

通过 jmx-exporter 可以直接暴露metrics url，所以可以直接通过prom采集器进行采集。

进入 DataKit 安装目录下的 conf.d/prom ，复制 prom.conf.sample 为 namenode.conf。

cp prom.conf.sample namenode.conf

调整namenode.conf内容如下：

  urls = ["http://localhost:17107/metrics"]
  source ="hdfs-namenode"
  [inputs.prom.tags]
    component = "hdfs-namenode" 
  interval = "10s"

其他配置按需调整

，调整参数说明 ：

• urls：jmx-exporter指标地址，这里填写对应组件暴露出来的指标 url
• source：采集器别名，建议做区分
• keep_exist_metric_name: 保持指标名称
• interval：采集间隔
• inputs.prom.tags: 新增额外的 tag

3. 重启 DataKit¶

重启 DataKit

指标¶

Hadoop 指标集¶

NameNode 指标位于 Hadoop 指标集下，这里主要介绍 NameNode 相关指标说明