コンテンツにスキップ

HBase Master

HBase Master のメトリクス情報を収集

設定

1.HBase Master 設定

1.1 jmx-exporter をダウンロード

ダウンロード先:https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロード

ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/hbase.yaml

1.3 HBase Master の起動パラメータ調整

HBase Master の起動パラメータに追加する

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:9406:/opt/jmx/hbase.yaml

1.4 HBase を再起動

2. DataKit コレクター設定

2.1 DataKit をインストール

2.2 コレクターを設定

jmx-exporter を使うと metrics url を直接公開できるため、prom コレクターでそのまま収集できます。

DataKit インストールディレクトリconf.d/samples に移動し、prom.conf.samplemaster.conf にコピーします。

cp prom.conf.sample master.conf

master.conf の内容を次のように調整します。

  urls = ["http://localhost:9406/metrics"]
  source ="hbase-master"
  [inputs.prom.tags]
    component = "hbase-master" 
  interval = "10s"

その他の設定は必要に応じて調整、調整パラメータの説明:

  • urls:jmx-exporter のメトリクスアドレス。ここでは対応するコンポーネントが公開するメトリクス url を指定します
  • source:コレクターの別名。区別することを推奨します
  • keep_exist_metric_name: メトリクス名を保持する
  • interval:収集間隔
  • inputs.prom.tags: 追加タグ

3. DataKit を再起動

DataKit を再起動

メトリクス

Hadoop メトリクスセット

HBase Master のメトリクスは Hadoop メトリクスセットの下にあります。ここでは主に Hbase Master 関連メトリクスの説明を紹介します。

Metrics 説明 単位
hadoop_hbase_appendcount 追加操作の件数 count
hadoop_hbase_appendsize_25th_percentile 追加操作サイズの第25パーセンタイル値 Byte
hadoop_hbase_appendsize_75th_percentile 追加操作サイズの第75パーセンタイル値 Byte
hadoop_hbase_appendsize_90th_percentile 追加操作サイズの第90パーセンタイル値 Byte
hadoop_hbase_appendsize_95th_percentile 追加操作サイズの第95パーセンタイル値 Byte
hadoop_hbase_appendsize_98th_percentile 追加操作サイズの第98パーセンタイル値 Byte
hadoop_hbase_appendsize_99_9th_percentile 追加操作サイズの第99.9パーセンタイル値 Byte
hadoop_hbase_appendsize_99th_percentile 追加操作サイズの第99パーセンタイル値 Byte
hadoop_hbase_appendsize_max 追加操作の最大サイズ Byte
hadoop_hbase_appendsize_mean 追加操作の平均サイズ Byte
hadoop_hbase_appendsize_median 追加操作の中央値サイズ Byte
hadoop_hbase_appendsize_min 追加操作の最小サイズ Byte
hadoop_hbase_appendsize_num_ops 追加操作の件数 count
hadoop_hbase_assignfailedcount 割り当て失敗件数 count
hadoop_hbase_assignsubmittedcount 割り当て送信件数 count
hadoop_hbase_authenticationfailures 認証失敗回数 count
hadoop_hbase_authenticationsuccesses 認証成功回数 count
hadoop_hbase_authorizationfailures 認可失敗回数 count
hadoop_hbase_authorizationsuccesses 認可成功回数 count
hadoop_hbase_averageload 平均負荷 count
hadoop_hbase_balancercluster_25th_percentile クラスタ平衡操作の第25パーセンタイル値 ms
hadoop_hbase_balancercluster_75th_percentile クラスタ平衡操作の第75パーセンタイル値 ms
hadoop_hbase_balancercluster_90th_percentile クラスタ平衡操作の第90パーセンタイル値 ms
hadoop_hbase_balancercluster_95th_percentile クラスタ平衡操作の第95パーセンタイル値 ms
hadoop_hbase_balancercluster_98th_percentile クラスタ平衡操作の第98パーセンタイル値 ms
hadoop_hbase_balancercluster_99_9th_percentile クラスタ平衡操作の第99.9パーセンタイル値 ms
hadoop_hbase_balancercluster_99th_percentile クラスタ平衡操作の第99パーセンタイル値 ms
hadoop_hbase_balancercluster_max クラスタ平衡操作の最大値 ms
hadoop_hbase_balancercluster_mean クラスタ平衡操作の平均値 ms
hadoop_hbase_balancercluster_median クラスタ平衡操作の中央値 ms
hadoop_hbase_balancercluster_min クラスタ平衡操作の最小値 ms
hadoop_hbase_balancercluster_num_ops クラスタ平衡操作の件数 ms
hadoop_hbase_closefailedcount クローズ失敗件数 count
hadoop_hbase_closesubmittedcount クローズ送信件数 count
hadoop_hbase_closetime_25th_percentile クローズ操作時間の第25パーセンタイル値 ms
hadoop_hbase_closetime_75th_percentile クローズ操作時間の第75パーセンタイル値 ms
hadoop_hbase_closetime_90th_percentile クローズ操作時間の第90パーセンタイル値 ms
hadoop_hbase_closetime_95th_percentile クローズ操作時間の第95パーセンタイル値 ms
hadoop_hbase_closetime_98th_percentile クローズ操作時間の第98パーセンタイル値 ms
hadoop_hbase_closetime_99_9th_percentile クローズ操作時間の第99.9パーセンタイル値 ms
hadoop_hbase_closetime_max クローズ操作の最大時間 ms
hadoop_hbase_closetime_mean クローズ操作の平均時間 ms
hadoop_hbase_closetime_median クローズ操作の中央値時間 ms
hadoop_hbase_closetime_min クローズ操作の最小時間 ms
hadoop_hbase_closetime_num_ops クローズ操作の件数 count
hadoop_hbase_clusterrequests クラスタ要求数 count
hadoop_hbase_deadserveropenregions デッドサーバー上のオープンリージョン数 count
hadoop_hbase_droppedpuball 破棄された PubAll 数 count
hadoop_hbase_errorrollrequest エラーロールリクエスト数 count
hadoop_hbase_exceptions 例外総数 count
hadoop_hbase_exceptions_callqueuetoobig 呼び出しキューが大きすぎることによる例外数 count
hadoop_hbase_exceptions_failedsanitycheckexception 整合性チェック失敗例外数 count
hadoop_hbase_exceptions_multiresponsetoolarge マルチレスポンスが大きすぎる例外数 count
hadoop_hbase_exceptions_notservingregionexception リージョン未提供例外数 count
hadoop_hbase_exceptions_otherexceptions その他の例外数 count
hadoop_hbase_exceptions_outoforderscannernextexception スキャナの next 順序エラー例外数 count
hadoop_hbase_exceptions_quotaexceeded クォータ超過例外数 count
hadoop_hbase_exceptions_regionmovedexception リージョン移動例外数 count
hadoop_hbase_exceptions_regiontoobusyexception リージョン過負荷例外数 count
hadoop_hbase_exceptions_requesttoobig リクエストが大きすぎる例外数 count
hadoop_hbase_exceptions_rpcthrottling RPC スロットリング例外数 count
hadoop_hbase_exceptions_scannerresetexception スキャナリセット例外数 count
hadoop_hbase_exceptions_unknownscannerexception 不明なスキャナ例外数 count
hadoop_hbase_fschecksumfailurecount ファイルシステムのチェックサム失敗件数 count
hadoop_hbase_fspreadtime_25th_percentile ファイルシステム伝播時間の第25パーセンタイル値 ms
hadoop_hbase_fspreadtime_75th_percentile ファイルシステム伝播時間の第75パーセンタイル値 ms
hadoop_hbase_fspreadtime_90th_percentile ファイルシステム伝播時間の第90パーセンタイル値 ms
hadoop_hbase_fspreadtime_95th_percentile ファイルシステム伝播時間の第95パーセンタイル値 ms
hadoop_hbase_fspreadtime_98th_percentile ファイルシステム伝播時間の第98パーセンタイル値 ms
hadoop_hbase_fspreadtime_99_9th_percentile ファイルシステム伝播時間の第99.9パーセンタイル値 ms
hadoop_hbase_fspreadtime_99th_percentile ファイルシステム伝播時間の第99パーセンタイル値 ms
hadoop_hbase_fspreadtime_max ファイルシステム伝播の最大時間 ms
hadoop_hbase_fspreadtime_mean ファイルシステム伝播の平均時間 ms
hadoop_hbase_fspreadtime_median ファイルシステム伝播の中央値時間 ms
hadoop_hbase_fspreadtime_min ファイルシステム伝播の最小時間 ms
hadoop_hbase_fspreadtime_num_ops ファイルシステム伝播操作の件数 count
hadoop_hbase_fsreadtime_25th_percentile ファイルシステム読み取り時間の第25パーセンタイル値 ms
hadoop_hbase_fsreadtime_75th_percentile ファイルシステム読み取り時間の第75パーセンタイル値 ms
hadoop_hbase_fsreadtime_90th_percentile ファイルシステム読み取り時間の第90パーセンタイル値 ms
hadoop_hbase_fsreadtime_95th_percentile ファイルシステム読み取り時間の第95パーセンタイル値 ms
hadoop_hbase_fsreadtime_98th_percentile ファイルシステム読み取り時間の第98パーセンタイル値 ms
hadoop_hbase_fsreadtime_99_9th_percentile ファイルシステム読み取り時間の第99.9パーセンタイル値 ms
hadoop_hbase_fsreadtime_99th_percentile ファイルシステム読み取り時間の第99パーセンタイル値 ms
hadoop_hbase_fsreadtime_max ファイルシステム読み取りの最大時間 ms
hadoop_hbase_fsreadtime_mean ファイルシステム読み取りの平均時間 ms
hadoop_hbase_fsreadtime_median ファイルシステム読み取りの中央値時間 ms
hadoop_hbase_fsreadtime_min ファイルシステム読み取りの最小時間 ms
hadoop_hbase_fspreadtime_min ファイルシステム読み取り操作の件数 ms
hadoop_hbase_fswritetime_25th_percentile ファイルシステム書き込み時間の第25パーセンタイル値 ms
hadoop_hbase_fswritetime_75th_percentile ファイルシステム書き込み時間の第75パーセンタイル値 ms
hadoop_hbase_fswritetime_90th_percentile ファイルシステム書き込み時間の第90パーセンタイル値 ms
hadoop_hbase_fswritetime_95th_percentile ファイルシステム書き込み時間の第95パーセンタイル値 ms
hadoop_hbase_fswritetime_98th_percentile ファイルシステム書き込み時間の第98パーセンタイル値 ms
hadoop_hbase_fswritetime_99_9th_percentile ファイルシステム書き込み時間の第99.9パーセンタイル値 ms
hadoop_hbase_fswritetime_99th_percentile ファイルシステム書き込み時間の第99パーセンタイル値 ms
hadoop_hbase_fswritetime_max ファイルシステム書き込みの最大時間 ms
hadoop_hbase_fswritetime_mean ファイルシステム書き込みの平均時間 ms
hadoop_hbase_fswritetime_median ファイルシステム書き込みの中央値時間 ms

フィードバック

このページは役に立ちましたか?