HBase Master
HBase Master のメトリクス情報を収集
設定¶
1.HBase Master 設定¶
1.1 jmx-exporter をダウンロード¶
ダウンロード先:https://github.com/prometheus/jmx_exporter
1.2 jmx スクリプトをダウンロード¶
ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml
1.3 HBase Master の起動パラメータ調整¶
HBase Master の起動パラメータに追加する
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9406:/opt/jmx/hbase.yaml
1.4 HBase を再起動¶
2. DataKit コレクター設定¶
2.1 DataKit をインストール¶
2.2 コレクターを設定¶
jmx-exporter を使うと metrics url を直接公開できるため、prom コレクターでそのまま収集できます。
DataKit インストールディレクトリ の conf.d/samples に移動し、prom.conf.sample を master.conf にコピーします。
cp prom.conf.sample master.conf
master.conf の内容を次のように調整します。
urls = ["http://localhost:9406/metrics"]
source ="hbase-master"
[inputs.prom.tags]
component = "hbase-master"
interval = "10s"
その他の設定は必要に応じて調整、調整パラメータの説明:
- urls:
jmx-exporterのメトリクスアドレス。ここでは対応するコンポーネントが公開するメトリクス url を指定します - source:コレクターの別名。区別することを推奨します
- keep_exist_metric_name: メトリクス名を保持する
- interval:収集間隔
- inputs.prom.tags: 追加タグ
3. DataKit を再起動¶
メトリクス¶
Hadoop メトリクスセット¶
HBase Master のメトリクスは Hadoop メトリクスセットの下にあります。ここでは主に Hbase Master 関連メトリクスの説明を紹介します。
| Metrics | 説明 | 単位 |
|---|---|---|
hadoop_hbase_appendcount |
追加操作の件数 |
count |
hadoop_hbase_appendsize_25th_percentile |
追加操作サイズの第25パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_75th_percentile |
追加操作サイズの第75パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_90th_percentile |
追加操作サイズの第90パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_95th_percentile |
追加操作サイズの第95パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_98th_percentile |
追加操作サイズの第98パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_99_9th_percentile |
追加操作サイズの第99.9パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_99th_percentile |
追加操作サイズの第99パーセンタイル値 |
Byte |
hadoop_hbase_appendsize_max |
追加操作の最大サイズ |
Byte |
hadoop_hbase_appendsize_mean |
追加操作の平均サイズ |
Byte |
hadoop_hbase_appendsize_median |
追加操作の中央値サイズ |
Byte |
hadoop_hbase_appendsize_min |
追加操作の最小サイズ |
Byte |
hadoop_hbase_appendsize_num_ops |
追加操作の件数 |
count |
hadoop_hbase_assignfailedcount |
割り当て失敗件数 |
count |
hadoop_hbase_assignsubmittedcount |
割り当て送信件数 |
count |
hadoop_hbase_authenticationfailures |
認証失敗回数 |
count |
hadoop_hbase_authenticationsuccesses |
認証成功回数 |
count |
hadoop_hbase_authorizationfailures |
認可失敗回数 |
count |
hadoop_hbase_authorizationsuccesses |
認可成功回数 |
count |
hadoop_hbase_averageload |
平均負荷 |
count |
hadoop_hbase_balancercluster_25th_percentile |
クラスタ平衡操作の第25パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_75th_percentile |
クラスタ平衡操作の第75パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_90th_percentile |
クラスタ平衡操作の第90パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_95th_percentile |
クラスタ平衡操作の第95パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_98th_percentile |
クラスタ平衡操作の第98パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_99_9th_percentile |
クラスタ平衡操作の第99.9パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_99th_percentile |
クラスタ平衡操作の第99パーセンタイル値 |
ms |
hadoop_hbase_balancercluster_max |
クラスタ平衡操作の最大値 |
ms |
hadoop_hbase_balancercluster_mean |
クラスタ平衡操作の平均値 |
ms |
hadoop_hbase_balancercluster_median |
クラスタ平衡操作の中央値 |
ms |
hadoop_hbase_balancercluster_min |
クラスタ平衡操作の最小値 |
ms |
hadoop_hbase_balancercluster_num_ops |
クラスタ平衡操作の件数 |
ms |
hadoop_hbase_closefailedcount |
クローズ失敗件数 |
count |
hadoop_hbase_closesubmittedcount |
クローズ送信件数 |
count |
hadoop_hbase_closetime_25th_percentile |
クローズ操作時間の第25パーセンタイル値 |
ms |
hadoop_hbase_closetime_75th_percentile |
クローズ操作時間の第75パーセンタイル値 |
ms |
hadoop_hbase_closetime_90th_percentile |
クローズ操作時間の第90パーセンタイル値 |
ms |
hadoop_hbase_closetime_95th_percentile |
クローズ操作時間の第95パーセンタイル値 |
ms |
hadoop_hbase_closetime_98th_percentile |
クローズ操作時間の第98パーセンタイル値 |
ms |
hadoop_hbase_closetime_99_9th_percentile |
クローズ操作時間の第99.9パーセンタイル値 |
ms |
hadoop_hbase_closetime_max |
クローズ操作の最大時間 |
ms |
hadoop_hbase_closetime_mean |
クローズ操作の平均時間 |
ms |
hadoop_hbase_closetime_median |
クローズ操作の中央値時間 |
ms |
hadoop_hbase_closetime_min |
クローズ操作の最小時間 |
ms |
hadoop_hbase_closetime_num_ops |
クローズ操作の件数 |
count |
hadoop_hbase_clusterrequests |
クラスタ要求数 |
count |
hadoop_hbase_deadserveropenregions |
デッドサーバー上のオープンリージョン数 |
count |
hadoop_hbase_droppedpuball |
破棄された PubAll 数 |
count |
hadoop_hbase_errorrollrequest |
エラーロールリクエスト数 |
count |
hadoop_hbase_exceptions |
例外総数 |
count |
hadoop_hbase_exceptions_callqueuetoobig |
呼び出しキューが大きすぎることによる例外数 |
count |
hadoop_hbase_exceptions_failedsanitycheckexception |
整合性チェック失敗例外数 |
count |
hadoop_hbase_exceptions_multiresponsetoolarge |
マルチレスポンスが大きすぎる例外数 |
count |
hadoop_hbase_exceptions_notservingregionexception |
リージョン未提供例外数 |
count |
hadoop_hbase_exceptions_otherexceptions |
その他の例外数 |
count |
hadoop_hbase_exceptions_outoforderscannernextexception |
スキャナの next 順序エラー例外数 |
count |
hadoop_hbase_exceptions_quotaexceeded |
クォータ超過例外数 |
count |
hadoop_hbase_exceptions_regionmovedexception |
リージョン移動例外数 |
count |
hadoop_hbase_exceptions_regiontoobusyexception |
リージョン過負荷例外数 |
count |
hadoop_hbase_exceptions_requesttoobig |
リクエストが大きすぎる例外数 |
count |
hadoop_hbase_exceptions_rpcthrottling |
RPC スロットリング例外数 |
count |
hadoop_hbase_exceptions_scannerresetexception |
スキャナリセット例外数 |
count |
hadoop_hbase_exceptions_unknownscannerexception |
不明なスキャナ例外数 |
count |
hadoop_hbase_fschecksumfailurecount |
ファイルシステムのチェックサム失敗件数 |
count |
hadoop_hbase_fspreadtime_25th_percentile |
ファイルシステム伝播時間の第25パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_75th_percentile |
ファイルシステム伝播時間の第75パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_90th_percentile |
ファイルシステム伝播時間の第90パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_95th_percentile |
ファイルシステム伝播時間の第95パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_98th_percentile |
ファイルシステム伝播時間の第98パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_99_9th_percentile |
ファイルシステム伝播時間の第99.9パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_99th_percentile |
ファイルシステム伝播時間の第99パーセンタイル値 |
ms |
hadoop_hbase_fspreadtime_max |
ファイルシステム伝播の最大時間 |
ms |
hadoop_hbase_fspreadtime_mean |
ファイルシステム伝播の平均時間 |
ms |
hadoop_hbase_fspreadtime_median |
ファイルシステム伝播の中央値時間 |
ms |
hadoop_hbase_fspreadtime_min |
ファイルシステム伝播の最小時間 |
ms |
hadoop_hbase_fspreadtime_num_ops |
ファイルシステム伝播操作の件数 |
count |
hadoop_hbase_fsreadtime_25th_percentile |
ファイルシステム読み取り時間の第25パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_75th_percentile |
ファイルシステム読み取り時間の第75パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_90th_percentile |
ファイルシステム読み取り時間の第90パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_95th_percentile |
ファイルシステム読み取り時間の第95パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_98th_percentile |
ファイルシステム読み取り時間の第98パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_99_9th_percentile |
ファイルシステム読み取り時間の第99.9パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_99th_percentile |
ファイルシステム読み取り時間の第99パーセンタイル値 |
ms |
hadoop_hbase_fsreadtime_max |
ファイルシステム読み取りの最大時間 |
ms |
hadoop_hbase_fsreadtime_mean |
ファイルシステム読み取りの平均時間 |
ms |
hadoop_hbase_fsreadtime_median |
ファイルシステム読み取りの中央値時間 |
ms |
hadoop_hbase_fsreadtime_min |
ファイルシステム読み取りの最小時間 |
ms |
hadoop_hbase_fspreadtime_min |
ファイルシステム読み取り操作の件数 |
ms |
hadoop_hbase_fswritetime_25th_percentile |
ファイルシステム書き込み時間の第25パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_75th_percentile |
ファイルシステム書き込み時間の第75パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_90th_percentile |
ファイルシステム書き込み時間の第90パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_95th_percentile |
ファイルシステム書き込み時間の第95パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_98th_percentile |
ファイルシステム書き込み時間の第98パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_99_9th_percentile |
ファイルシステム書き込み時間の第99.9パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_99th_percentile |
ファイルシステム書き込み時間の第99パーセンタイル値 |
ms |
hadoop_hbase_fswritetime_max |
ファイルシステム書き込みの最大時間 |
ms |
hadoop_hbase_fswritetime_mean |
ファイルシステム書き込みの平均時間 |
ms |
hadoop_hbase_fswritetime_median |
ファイルシステム書き込みの中央値時間 |
ms |