HBase Region
HBase Region のメトリクス情報を収集する
設定¶
1. HBase Region 設定¶
1.1 jmx-exporter をダウンロード¶
ダウンロード先:https://github.com/prometheus/jmx_exporter
1.2 jmx スクリプトをダウンロード¶
ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml
1.3 HBase Region の起動パラメータ調整¶
HBase Region の起動パラメータに追加する
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9407:/opt/jmx/hbase.yaml
1.4 HBase を再起動¶
2. DataKit コレクタ設定¶
2.1 DataKit をインストール¶
2.2 コレクタを設定する¶
jmx-exporter を使うと metrics url を直接公開できるため、prom コレクタでそのまま収集できます。
DataKit のインストールディレクトリ の conf.d/samples に入り、prom.conf.sample を region.conf にコピーします。
cp prom.conf.sample region.conf
region.conf の内容を次のように調整します。
urls = ["http://localhost:9407/metrics"]
source ="hbase-region"
[inputs.prom.tags]
component = "hbase-region"
interval = "10s"
その他の設定は必要に応じて調整してください。調整パラメータの説明は次のとおりです。
- urls:
jmx-exporterのメトリクスアドレス。ここには該当コンポーネントが公開しているメトリクス url を指定します - source:コレクタの別名。識別できるように分けることを推奨します
- keep_exist_metric_name: メトリクス名を保持する
- interval:収集間隔
- inputs.prom.tags: 追加の tag を設定する
3. DataKit を再起動¶
メトリクス¶
Hadoop メトリクスセット¶
HBase Region のメトリクスは Hadoop メトリクスセットに含まれます。ここでは主に HBase Region 関連メトリクスの説明を紹介します。
| Metrics | 説明 | 単位 |
|---|---|---|
hadoop_hbase_regionCount |
リージョンサーバーが管理するリージョン数 |
count |
hadoop_hbase_storeFileCount |
現在 regionserver が管理しているディスク上のストアファイル数 |
count |
hadoop_hbase_storeFileSize |
ディスク上のストアファイルの合計サイズ |
byte |
hadoop_hbase_hlogFileCount |
まだアーカイブされていない書き込み前ログの数 |
count |
hadoop_hbase_totalRequestCount |
受信したリクエスト総数 |
count |
hadoop_hbase_readRequestCount |
受信した読み取りリクエスト数 |
count |
hadoop_hbase_writeRequestCount |
受信した書き込みリクエスト数 |
count |
hadoop_hbase_numOpenConnections |
RPC 層のオープン接続数 |
count |
hadoop_hbase_numActiveHandler |
リクエストに対してアクティブにサービスしている RPC ハンドラ数 |
count |
hadoop_hbase_numCallsInGeneralQueue |
現在キューに入っているユーザーリクエスト数 |
count |
hadoop_hbase_numCallsInReplicationQueue |
レプリケーションから受信した現在のキュー待ちオペレーション数 |
count |
hadoop_hbase_numCallsInPriorityQueue |
現在キューに入っている優先度(内部管理)リクエスト数 |
count |
hadoop_hbase_flushQueueLength |
memstore フラッシュキューの現在の深さ |
count |
hadoop_hbase_updatesBlockedTime |
memstore をフラッシュできるように更新がブロックされた時間(ミリ秒) |
ms |
hadoop_hbase_compactionQueueLength |
コンパクションリクエストキューの現在の深さ |
count |
hadoop_hbase_blockCacheHitCount |
ブロックキャッシュのヒット数 |
count |
hadoop_hbase_blockCacheMissCount |
memstore フラッシュキューの現在の深さ |
count |
hadoop_hbase_blockCacheExpressHitPercent |
オープンキャッシュリクエストがキャッシュに到達した時間の割合 |
count |
hadoop_hbase_percentFilesLocal |
ローカル DataNode から読み取れるストアファイルデータの割合 |
count |
hadoop_hbase_append_99th_percentile |
Append 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_delete_99th_percentile |
Delete 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_get_99th_percentile |
Get 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_checkandput_99th_percentile |
CheckAndPut 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_checkanddelete_99th_percentile |
CheckAndDelete 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_increment_99th_percentile |
Increment 操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_hedgedreadwins |
hedged read 操作の成功回数 |
count |
hadoop_hbase_hedgedreads |
hedged read 操作の総数 |
count |
hadoop_hbase_hedgedreadopsincurthread |
現在のスレッドにおける hedged read 操作数 |
count |
hadoop_hbase_l1cachehitratio |
L1 キャッシュのヒット率 |
% |
hadoop_hbase_l1cachemissratio |
L1 キャッシュのミス率 |
% |
hadoop_hbase_l2cachehitratio |
L2 キャッシュのヒット率 |
% |
hadoop_hbase_l2cachemissratio |
L2 キャッシュのミス率 |
% |
hadoop_hbase_logerror |
記録されたエラー数 |
count |
hadoop_hbase_logfatal |
記録された致命的エラー数 |
count |
hadoop_hbase_loginfo |
記録された情報レベルログ数 |
count |
hadoop_hbase_logwarn |
記録された警告数 |
count |
hadoop_hbase_majorcompactiontime_max |
コンパクション操作の最大時間 |
ms |
hadoop_hbase_majorcompactiontime_mean |
コンパクション操作の平均時間 |
ms |
hadoop_hbase_majorcompactiontime_median |
コンパクション操作の中央値時間 |
ms |
hadoop_hbase_majorcompactiontime_min |
コンパクション操作の最小時間 |
ms |
hadoop_hbase_maxstorefileage |
最大ストアファイル年齢 |
count |
hadoop_hbase_memheapcommittedm |
ヒープメモリにおけるコミット済みメモリ量 |
MB |
hadoop_hbase_memheapmaxm |
ヒープメモリの最大量 |
MB |
hadoop_hbase_memheapusedm |
ヒープメモリにおける使用済みメモリ量 |
MB |
hadoop_hbase_memmaxm |
総メモリの最大量 |
MB |
hadoop_hbase_memnonheapcommittedm |
非ヒープメモリにおけるコミット済みメモリ量 |
MB |
hadoop_hbase_memnonheapmaxm |
非ヒープメモリの最大量 |
MB |
hadoop_hbase_memnonheapusedm |
非ヒープメモリにおける使用済みメモリ量 |
MB |
hadoop_hbase_mobfilecachehitpercent |
MOB ファイルキャッシュのヒット率 |
% |
hadoop_hbase_mutationswithoutwalcount |
WAL なしの変更回数 |
count |
hadoop_hbase_averageregionsize |
リージョンの平均サイズ |
MB |
hadoop_hbase_avgstorefileage |
ストアファイルの平均年齢 |
ms |
hadoop_hbase_blockcachecount |
ブロックキャッシュ内のブロック総数 |
count |
hadoop_hbase_blockcachecounthitpercent |
ブロックキャッシュのヒット率 |
% |
hadoop_hbase_blockcachedatahitcount |
ブロックキャッシュ内のデータブロックヒット回数 |
count |
hadoop_hbase_blockcacheevictioncount |
ブロックキャッシュの追い出し回数 |
count |
hadoop_hbase_blockcachehitcount |
ブロックキャッシュのヒット回数 |
count |
hadoop_hbase_blockcachemisscount |
ブロックキャッシュのミス回数 |
count |
hadoop_hbase_compactioninputfilecount_99th_percentile |
コンパクション操作の入力ファイル数の第 99 パーセンタイル値 |
count |
hadoop_hbase_compactionoutputfilecount_99th_percentile |
コンパクション操作の出力ファイル数の第 99 パーセンタイル値 |
count |
hadoop_hbase_compactiontime_99th_percentile |
コンパクション操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_flushedmemstorebytes |
フラッシュされた MemStore バイト数 |
byte |
hadoop_hbase_flushedoutputbytes |
フラッシュされた出力バイト数 |
byte |
hadoop_hbase_flushmemstoresize_99th_percentile |
MemStore フラッシュサイズの第 99 パーセンタイル値 |
byte |
hadoop_hbase_flushoutputsize_99th_percentile |
フラッシュ出力サイズの第 99 パーセンタイル値 |
byte |
hadoop_hbase_flushtime_99th_percentile |
フラッシュ操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_get_25th_percentile |
Get 操作時間の第 25 パーセンタイル値 |
ms |
hadoop_hbase_slowappendcount |
遅い Append 操作の回数 |
count |
hadoop_hbase_slowdeletecount |
遅い Delete 操作の回数 |
count |
hadoop_hbase_slowgetcount |
遅い Get 操作の回数 |
count |
hadoop_hbase_slowincrementcount |
遅い Increment 操作の回数 |
count |
hadoop_hbase_slowputcount |
遅い Put 操作の回数 |
count |
hadoop_hbase_snapshotavgtime |
スナップショット操作の平均時間 |
ms |
hadoop_hbase_snapshotnumops |
スナップショット操作の総回数 |
count |
hadoop_hbase_source_logeditsread |
Source が読み取ったログ編集数 |
count |
hadoop_hbase_source_shippedbytes |
Source が送信したバイト数 |
byte |
hadoop_hbase_source_shippedops |
Source が送信したオペレーション数 |
count |
hadoop_hbase_splitreuestcount |
分割リクエスト回数 |
count |
hadoop_hbase_splitsuccesscount |
分割成功の総回数 |
count |
hadoop_hbase_staticbloomsize |
静的ブルームフィルタのサイズ |
count |
hadoop_hbase_staticindexsize |
静的インデックスのサイズ |
count |
hadoop_hbase_storefileindexsize |
ストアファイルインデックスのサイズ |
count |
hadoop_hbase_storefilesize |
ストアファイルのサイズ |
count |
hadoop_hbase_successfullogrolls |
ログロールの成功回数 |
count |
hadoop_hbase_synctime_99th_percentile |
同期操作時間の第 99 パーセンタイル値 |
ms |
hadoop_hbase_tunerdonothingcounter |
チューナーが何もしなかった回数 |
count |
hadoop_hbase_updatesblockedtime |
更新操作がブロックされた時間 |
ms |
hadoop_hbase_writereuestcount |
書き込みリクエストの総回数 |
count |
hadoop_hbase_writtenbytes |
書き込まれた総バイト数 |
byte |
hadoop_hbase_zerocopybytesread |
ゼロコピー読み取りのバイト数 |
byte |