Hadoop HDFS DataNode¶

采集 HDFS datanode 指标信息。

安装部署¶

由于 DataNode 是 java 语言开发的，所以可以采用 jmx-exporter 的方式采集指标信息。

1. DataNode 配置¶

1.1 下载 jmx-exporter¶

下载地址：https://github.com/prometheus/jmx_exporter

1.2 下载 jmx 脚本¶

下载地址：https://github.com/lrwh/jmx-exporter/blob/main/hadoop-hdfs-datanode.yml

1.3 DataNode 启动参数调整¶

在 datanode 的启动参数添加

{{JAVA_GC_ARGS}} -javaagent:/opt/guance/jmx/jmx_exporter-1.0.1.jar=localhost:17106:/opt/guance/jmx/hadoop-hdfs-datanode.yml

1.4 重启 DataNode¶

2. DataKit 采集器配置¶

2.1 安装 DataKit¶

2.2 配置采集器¶

通过 jmx-exporter 可以直接暴露metrics url，所以可以直接通过prom采集器进行采集。

进入 DataKit 安装目录下的 conf.d/prom ，复制 prom.conf.sample 为 datanode.conf。

cp prom.conf.sample datanode.conf

调整datanode.conf内容如下：

  urls = ["http://localhost:17106/metrics"]
  source ="hdfs-datanode"
  [inputs.prom.tags]
    component = "hdfs-datanode" 
  interval = "10s"

其他配置按需调整

，调整参数说明 ：

• urls：jmx-exporter指标地址，这里填写对应组件暴露出来的指标 url
• source：采集器别名，建议做区分
• keep_exist_metric_name: 保持指标名称
• interval：采集间隔
• inputs.prom.tags: 新增额外的 tag

3. 重启 DataKit¶

重启 DataKit

指标¶

Hadoop 指标集¶

DataNode 指标位于 Hadoop 指标集下，这里主要介绍 DataNode 相关指标说明