HBase Region
采集 HBase Region 指标信息
配置¶
1.HBase Region 配置¶
1.1 下载 jmx-exporter¶
下载地址:https://github.com/prometheus/jmx_exporter
1.2 下载 jmx 脚本¶
下载地址:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml
1.3 HBase Region 启动参数调整¶
在 HBase Region 的启动参数添加
{{JAVA_GC_ARGS}} -javaagent:/opt/guance/jmx/jmx_exporter-1.0.1.jar=localhost:9407:/opt/guance/jmx/hbase.yaml
1.4 重启 HBase¶
2. DataKit 采集器配置¶
2.1 安装 DataKit¶
2.2 配置采集器¶
通过 jmx-exporter 可以直接暴露 metrics
url,所以可以直接通过 prom 采集器进行采集。
进入 DataKit 安装目录下的 conf.d/prom
,复制 prom.conf.sample
为 region.conf
。
cp prom.conf.sample region.conf
调整region.conf
内容如下:
urls = ["http://localhost:9407/metrics"]
source ="hbase-region"
[inputs.prom.tags]
component = "hbase-region"
interval = "10s"
其他配置按需调整,调整参数说明 :
- urls:
jmx-exporter
指标地址,这里填写对应组件暴露出来的指标 url - source:采集器别名,建议做区分
- keep_exist_metric_name: 保持指标名称
- interval:采集间隔
- inputs.prom.tags: 新增额外的 tag
3. 重启 DataKit¶
指标¶
Hadoop 指标集¶
HBase Region 指标位于 Hadoop 指标集下,这里主要介绍 Hbase Region 相关指标说明
Metrics | 描述 | 单位 |
---|---|---|
hadoop_hbase_regionCount |
区域服务器托管的区域数量 |
count |
hadoop_hbase_storeFileCount |
当前由regionserver管理的磁盘上的存储文件数 |
count |
hadoop_hbase_storeFileSize |
磁盘上存储文件的聚合大小 |
byte |
hadoop_hbase_hlogFileCount |
尚未归档的预写日志数 |
count |
hadoop_hbase_totalRequestCount |
收到的请求总数 |
count |
hadoop_hbase_readRequestCount |
收到的读取请求数 |
count |
hadoop_hbase_writeRequestCount |
收到的写入请求数 |
count |
hadoop_hbase_numOpenConnections |
RPC层的打开连接数 |
count |
hadoop_hbase_numActiveHandler |
主动为请求提供服务的RPC处理程序的数量 |
count |
hadoop_hbase_numCallsInGeneralQueue |
当前排队的用户请求数 |
count |
hadoop_hbase_numCallsInReplicationQueue |
从复制中收到的当前排队操作的数量 |
count |
hadoop_hbase_numCallsInPriorityQueue |
当前排队的优先级(内部管家)请求的数量 |
count |
hadoop_hbase_flushQueueLength |
memstore刷新队列的当前深度 |
count |
hadoop_hbase_updatesBlockedTime |
已阻止更新的毫秒数,因此可以刷新memstore |
ms |
hadoop_hbase_compactionQueueLength |
压缩请求队列的当前深度 |
count |
hadoop_hbase_blockCacheHitCount |
块缓存命中数 |
count |
hadoop_hbase_blockCacheMissCount |
memstore刷新队列的当前深度 |
count |
hadoop_hbase_blockCacheExpressHitPercent |
打开缓存请求的时间百分比达到缓存 |
count |
hadoop_hbase_percentFilesLocal |
可从本地DataNode读取的存储文件数据的百分比 |
count |
hadoop_hbase_append_99th_percentile |
Append操作时间的第99百分位值 |
ms |
hadoop_hbase_delete_99th_percentile |
Delete操作时间的第99百分位值 |
ms |
hadoop_hbase_get_99th_percentile |
Get操作时间的第99百分位值 |
ms |
hadoop_hbase_checkandput_99th_percentile |
CheckAndPut操作时间的第99百分位值 |
ms |
hadoop_hbase_checkanddelete_99th_percentile |
CheckAndDelete操作时间的第99百分位值 |
ms |
hadoop_hbase_increment_99th_percentile |
Increment操作时间的第99百分位值 |
ms |
hadoop_hbase_hedgedreadwins |
hedged读操作的成功次数 |
count |
hadoop_hbase_hedgedreads |
hedged读操作的总数 |
count |
hadoop_hbase_hedgedreadopsincurthread |
当前线程中hedged读操作的数量 |
count |
hadoop_hbase_l1cachehitratio |
L1缓存的命中率 |
% |
hadoop_hbase_l1cachemissratio |
L1缓存的未命中率 |
% |
hadoop_hbase_l2cachehitratio |
L2缓存的命中率 |
% |
hadoop_hbase_l2cachemissratio |
L2缓存的未命中率 |
% |
hadoop_hbase_logerror |
记录的错误数量 |
count |
hadoop_hbase_logfatal |
记录的致命错误数量 |
count |
hadoop_hbase_loginfo |
记录的信息级别日志数量 |
count |
hadoop_hbase_logwarn |
记录的警告数量 |
count |
hadoop_hbase_majorcompactiontime_max |
压缩操作的最大时间 |
ms |
hadoop_hbase_majorcompactiontime_mean |
压缩操作的平均时间 |
ms |
hadoop_hbase_majorcompactiontime_median |
压缩操作的中位数时间 |
ms |
hadoop_hbase_majorcompactiontime_min |
压缩操作的最小时间 |
ms |
hadoop_hbase_maxstorefileage |
最大存储文件年龄 |
count |
hadoop_hbase_memheapcommittedm |
堆内存中已提交的内存量 |
MB |
hadoop_hbase_memheapmaxm |
堆内存的最大量 |
MB |
hadoop_hbase_memheapusedm |
堆内存中已使用的内存量 |
MB |
hadoop_hbase_memmaxm |
总内存的最大量 |
MB |
hadoop_hbase_memnonheapcommittedm |
非堆内存中已提交的内存量 |
MB |
hadoop_hbase_memnonheapmaxm |
非堆内存的最大量 |
MB |
hadoop_hbase_memnonheapusedm |
非堆内存中已使用的内存量 |
MB |
hadoop_hbase_mobfilecachehitpercent |
MOB文件缓存的命中率百分比 |
% |
hadoop_hbase_mutationswithoutwalcount |
没有写前日志(WAL)的变更次数 |
count |
hadoop_hbase_averageregionsize |
区域的平均大小 |
MB |
hadoop_hbase_avgstorefileage |
存储文件的平均年龄 |
ms |
hadoop_hbase_blockcachecount |
块缓存中的块总数 |
count |
hadoop_hbase_blockcachecounthitpercent |
块缓存的命中率百分比 |
% |
hadoop_hbase_blockcachedatahitcount |
块缓存中的数据块命中次数 |
count |
hadoop_hbase_blockcacheevictioncount |
块缓存的驱逐次数 |
count |
hadoop_hbase_blockcachehitcount |
块缓存的命中次数 |
count |
hadoop_hbase_blockcachemisscount |
块缓存的未命中次数 |
count |
hadoop_hbase_compactioninputfilecount_99th_percentile |
压缩操作输入文件数量的第99百分位值 |
count |
hadoop_hbase_compactionoutputfilecount_99th_percentile |
压缩操作输出文件数量的第99百分位值 |
count |
hadoop_hbase_compactiontime_99th_percentile |
压缩操作时间的第99百分位值 |
ms |
hadoop_hbase_flushedmemstorebytes |
被刷新的MemStore字节数 |
byte |
hadoop_hbase_flushedoutputbytes |
被刷新的输出字节数 |
byte |
hadoop_hbase_flushmemstoresize_99th_percentile |
刷新MemStore大小的第99百分位值 |
byte |
hadoop_hbase_flushoutputsize_99th_percentile |
刷新输出大小的第99百分位值 |
byte |
hadoop_hbase_flushtime_99th_percentile |
刷新操作时间的第99百分位值 |
ms |
hadoop_hbase_get_25th_percentile |
Get操作时间的第25百分位值 |
ms |
hadoop_hbase_slowappendcount |
慢Append操作的次数 |
count |
hadoop_hbase_slowdeletecount |
慢Delete操作的次数 |
count |
hadoop_hbase_slowgetcount |
慢Get操作的次数 |
count |
hadoop_hbase_slowincrementcount |
慢Increment操作的次数 |
count |
hadoop_hbase_slowputcount |
慢Put操作的次数 |
count |
hadoop_hbase_snapshotavgtime |
快照操作的平均时间 |
ms |
hadoop_hbase_snapshotnumops |
快照操作的总次数 |
count |
hadoop_hbase_source_logeditsread |
Source读取的日志编辑数 |
count |
hadoop_hbase_source_shippedbytes |
Source发货的字节数 |
byte |
hadoop_hbase_source_shippedops |
Source发货的操作数 |
count |
hadoop_hbase_splitreuestcount |
分裂请求的次数 |
count |
hadoop_hbase_splitsuccesscount |
分裂成功的总次数 |
count |
hadoop_hbase_staticbloomsize |
静态布隆过滤器的大小 |
count |
hadoop_hbase_staticindexsize |
静态索引的大小 |
count |
hadoop_hbase_storefileindexsize |
存储文件索引的大小 |
count |
hadoop_hbase_storefilesize |
存储文件的大小 |
count |
hadoop_hbase_successfullogrolls |
成功的日志滚动次数 |
count |
hadoop_hbase_synctime_99th_percentile |
同步操作时间的第99百分位值 |
ms |
hadoop_hbase_tunerdonothingcounter |
调优器无操作的次数 |
count |
hadoop_hbase_updatesblockedtime |
更新操作被阻塞的时间 |
ms |
hadoop_hbase_writereuestcount |
写请求的总次数 |
count |
hadoop_hbase_writtenbytes |
写入的总字节数 |
byte |
hadoop_hbase_zerocopybytesread |
零拷贝读取的字节数 |
byte |