コンテンツにスキップ

HBase Region

HBase Region のメトリクス情報を収集する

設定

1. HBase Region 設定

1.1 jmx-exporter をダウンロード

ダウンロード先:https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード

ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml

1.3 HBase Region の起動パラメータ調整

HBase Region の起動パラメータに追加する

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9407:/opt/jmx/hbase.yaml

1.4 HBase を再起動

2. DataKit コレクタ設定

2.1 DataKit をインストール

2.2 コレクタを設定する

jmx-exporter を使うと metrics url を直接公開できるため、prom コレクタでそのまま収集できます。

DataKit のインストールディレクトリconf.d/samples に入り、prom.conf.sampleregion.conf にコピーします。

cp prom.conf.sample region.conf

region.conf の内容を次のように調整します。

  urls = ["http://localhost:9407/metrics"]
  source ="hbase-region"
  [inputs.prom.tags]
    component = "hbase-region" 
  interval = "10s"

その他の設定は必要に応じて調整してください。調整パラメータの説明は次のとおりです。

  • urls:jmx-exporter のメトリクスアドレス。ここには該当コンポーネントが公開しているメトリクス url を指定します
  • source:コレクタの別名。識別できるように分けることを推奨します
  • keep_exist_metric_name: メトリクス名を保持する
  • interval:収集間隔
  • inputs.prom.tags: 追加の tag を設定する

3. DataKit を再起動

DataKit を再起動

メトリクス

Hadoop メトリクスセット

HBase Region のメトリクスは Hadoop メトリクスセットに含まれます。ここでは主に HBase Region 関連メトリクスの説明を紹介します。

Metrics 説明 単位
hadoop_hbase_regionCount リージョンサーバーが管理するリージョン数 count
hadoop_hbase_storeFileCount 現在 regionserver が管理しているディスク上のストアファイル数 count
hadoop_hbase_storeFileSize ディスク上のストアファイルの合計サイズ byte
hadoop_hbase_hlogFileCount まだアーカイブされていない書き込み前ログの数 count
hadoop_hbase_totalRequestCount 受信したリクエスト総数 count
hadoop_hbase_readRequestCount 受信した読み取りリクエスト数 count
hadoop_hbase_writeRequestCount 受信した書き込みリクエスト数 count
hadoop_hbase_numOpenConnections RPC 層のオープン接続数 count
hadoop_hbase_numActiveHandler リクエストに対してアクティブにサービスしている RPC ハンドラ数 count
hadoop_hbase_numCallsInGeneralQueue 現在キューに入っているユーザーリクエスト数 count
hadoop_hbase_numCallsInReplicationQueue レプリケーションから受信した現在のキュー待ちオペレーション数 count
hadoop_hbase_numCallsInPriorityQueue 現在キューに入っている優先度(内部管理)リクエスト数 count
hadoop_hbase_flushQueueLength memstore フラッシュキューの現在の深さ count
hadoop_hbase_updatesBlockedTime memstore をフラッシュできるように更新がブロックされた時間(ミリ秒) ms
hadoop_hbase_compactionQueueLength コンパクションリクエストキューの現在の深さ count
hadoop_hbase_blockCacheHitCount ブロックキャッシュのヒット数 count
hadoop_hbase_blockCacheMissCount memstore フラッシュキューの現在の深さ count
hadoop_hbase_blockCacheExpressHitPercent オープンキャッシュリクエストがキャッシュに到達した時間の割合 count
hadoop_hbase_percentFilesLocal ローカル DataNode から読み取れるストアファイルデータの割合 count
hadoop_hbase_append_99th_percentile Append 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_delete_99th_percentile Delete 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_get_99th_percentile Get 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_checkandput_99th_percentile CheckAndPut 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_checkanddelete_99th_percentile CheckAndDelete 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_increment_99th_percentile Increment 操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_hedgedreadwins hedged read 操作の成功回数 count
hadoop_hbase_hedgedreads hedged read 操作の総数 count
hadoop_hbase_hedgedreadopsincurthread 現在のスレッドにおける hedged read 操作数 count
hadoop_hbase_l1cachehitratio L1 キャッシュのヒット率 %
hadoop_hbase_l1cachemissratio L1 キャッシュのミス率 %
hadoop_hbase_l2cachehitratio L2 キャッシュのヒット率 %
hadoop_hbase_l2cachemissratio L2 キャッシュのミス率 %
hadoop_hbase_logerror 記録されたエラー数 count
hadoop_hbase_logfatal 記録された致命的エラー数 count
hadoop_hbase_loginfo 記録された情報レベルログ数 count
hadoop_hbase_logwarn 記録された警告数 count
hadoop_hbase_majorcompactiontime_max コンパクション操作の最大時間 ms
hadoop_hbase_majorcompactiontime_mean コンパクション操作の平均時間 ms
hadoop_hbase_majorcompactiontime_median コンパクション操作の中央値時間 ms
hadoop_hbase_majorcompactiontime_min コンパクション操作の最小時間 ms
hadoop_hbase_maxstorefileage 最大ストアファイル年齢 count
hadoop_hbase_memheapcommittedm ヒープメモリにおけるコミット済みメモリ量 MB
hadoop_hbase_memheapmaxm ヒープメモリの最大量 MB
hadoop_hbase_memheapusedm ヒープメモリにおける使用済みメモリ量 MB
hadoop_hbase_memmaxm 総メモリの最大量 MB
hadoop_hbase_memnonheapcommittedm 非ヒープメモリにおけるコミット済みメモリ量 MB
hadoop_hbase_memnonheapmaxm 非ヒープメモリの最大量 MB
hadoop_hbase_memnonheapusedm 非ヒープメモリにおける使用済みメモリ量 MB
hadoop_hbase_mobfilecachehitpercent MOB ファイルキャッシュのヒット率 %
hadoop_hbase_mutationswithoutwalcount WAL なしの変更回数 count
hadoop_hbase_averageregionsize リージョンの平均サイズ MB
hadoop_hbase_avgstorefileage ストアファイルの平均年齢 ms
hadoop_hbase_blockcachecount ブロックキャッシュ内のブロック総数 count
hadoop_hbase_blockcachecounthitpercent ブロックキャッシュのヒット率 %
hadoop_hbase_blockcachedatahitcount ブロックキャッシュ内のデータブロックヒット回数 count
hadoop_hbase_blockcacheevictioncount ブロックキャッシュの追い出し回数 count
hadoop_hbase_blockcachehitcount ブロックキャッシュのヒット回数 count
hadoop_hbase_blockcachemisscount ブロックキャッシュのミス回数 count
hadoop_hbase_compactioninputfilecount_99th_percentile コンパクション操作の入力ファイル数の第 99 パーセンタイル値 count
hadoop_hbase_compactionoutputfilecount_99th_percentile コンパクション操作の出力ファイル数の第 99 パーセンタイル値 count
hadoop_hbase_compactiontime_99th_percentile コンパクション操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_flushedmemstorebytes フラッシュされた MemStore バイト数 byte
hadoop_hbase_flushedoutputbytes フラッシュされた出力バイト数 byte
hadoop_hbase_flushmemstoresize_99th_percentile MemStore フラッシュサイズの第 99 パーセンタイル値 byte
hadoop_hbase_flushoutputsize_99th_percentile フラッシュ出力サイズの第 99 パーセンタイル値 byte
hadoop_hbase_flushtime_99th_percentile フラッシュ操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_get_25th_percentile Get 操作時間の第 25 パーセンタイル値 ms
hadoop_hbase_slowappendcount 遅い Append 操作の回数 count
hadoop_hbase_slowdeletecount 遅い Delete 操作の回数 count
hadoop_hbase_slowgetcount 遅い Get 操作の回数 count
hadoop_hbase_slowincrementcount 遅い Increment 操作の回数 count
hadoop_hbase_slowputcount 遅い Put 操作の回数 count
hadoop_hbase_snapshotavgtime スナップショット操作の平均時間 ms
hadoop_hbase_snapshotnumops スナップショット操作の総回数 count
hadoop_hbase_source_logeditsread Source が読み取ったログ編集数 count
hadoop_hbase_source_shippedbytes Source が送信したバイト数 byte
hadoop_hbase_source_shippedops Source が送信したオペレーション数 count
hadoop_hbase_splitreuestcount 分割リクエスト回数 count
hadoop_hbase_splitsuccesscount 分割成功の総回数 count
hadoop_hbase_staticbloomsize 静的ブルームフィルタのサイズ count
hadoop_hbase_staticindexsize 静的インデックスのサイズ count
hadoop_hbase_storefileindexsize ストアファイルインデックスのサイズ count
hadoop_hbase_storefilesize ストアファイルのサイズ count
hadoop_hbase_successfullogrolls ログロールの成功回数 count
hadoop_hbase_synctime_99th_percentile 同期操作時間の第 99 パーセンタイル値 ms
hadoop_hbase_tunerdonothingcounter チューナーが何もしなかった回数 count
hadoop_hbase_updatesblockedtime 更新操作がブロックされた時間 ms
hadoop_hbase_writereuestcount 書き込みリクエストの総回数 count
hadoop_hbase_writtenbytes 書き込まれた総バイト数 byte
hadoop_hbase_zerocopybytesread ゼロコピー読み取りのバイト数 byte

フィードバック

このページは役に立ちましたか?