Ranger Tagsync
Ranger Tagsync のメトリクス情報を収集する
設定¶
1. Ranger Tagsync の設定¶
1.1 jmx-exporter をダウンロードする¶
ダウンロード先:https://github.com/prometheus/jmx_exporter
1.2 jmx スクリプトをダウンロードする¶
ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/common.yml
1.3 Ranger Tagsync の起動パラメータを調整する¶
Ranger Tagsync の起動パラメータに追加する
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17144:/opt/jmx/common.yml
1.4 Ranger Tagsync を再起動する¶
2. DataKit 収集器の設定¶
2.1 DataKit をインストールする¶
2.2 収集器を設定する¶
jmx-exporter により metrics URL を直接公開できるため、prom 収集器で直接収集できます。
DataKit のインストールディレクトリ 配下の conf.d/samples に移動し、prom.conf.sample を ranger-tagsync.conf にコピーします。
cp prom.conf.sample ranger-tagsync.conf
ranger_tagsync.conf の内容を以下のように調整します。
urls = ["http://localhost:17144/metrics"]
source ="ranger-tagsync"
[inputs.prom.tags]
component = "ranger-tagsync"
interval = "10s"
他の設定は必要に応じて調整してください。設定項目の説明は以下のとおりです:
- urls:
jmx-exporterのメトリクスアドレス。ここには該当コンポーネントが公開するメトリクス URL を入力します - source:収集器の別名。識別できるように分けることを推奨します
- keep_exist_metric_name: メトリクス名を保持する
- interval:収集間隔
- inputs.prom.tags: 追加の tag を設定する
3. DataKit を再起動する¶
メトリクス¶
Hadoop メトリクスセット¶
Ranger Tagsync のメトリクスは Hadoop メトリクスセットに含まれます。ここでは主に Ranger Tagsync 関連のメトリクスについて説明します。
| Metrics | 説明 | 単位 |
|---|---|---|
hadoop_tagsync_countevents |
発生したイベントの総数 |
count |
hadoop_tagsync_counteventstime |
これらのイベントの処理に要した合計時間 |
ms |
hadoop_tagsync_countuploads |
アップロード操作の総数 |
count |
hadoop_tagsync_countuploadstime |
アップロード操作の処理に要した合計時間 |
count |
hadoop_tagsync_droppedpuball |
失われた publish イベントの総数 |
count |
hadoop_tagsync_gccounttotal |
ガベージコレクション(GC)の総回数 |
count |
hadoop_tagsync_gctimemax |
ガベージコレクション(GC)の最大所要時間 |
ms |
hadoop_tagsync_gctimetotal |
ガベージコレクション(GC)の合計所要時間 |
count |
hadoop_tagsync_getgroupsavgtime |
ユーザーグループ取得の平均時間 |
ms |
hadoop_tagsync_getgroupsnumops |
ユーザーグループ取得の操作回数 |
count |
hadoop_tagsync_loginfailureavgtime |
ログイン失敗の平均所要時間 |
ms |
hadoop_tagsync_loginfailurenumops |
ログイン失敗回数 |
count |
hadoop_tagsync_loginsuccessavgtime |
ログイン成功の平均所要時間 |
ms |
hadoop_tagsync_loginsuccessnumops |
ログイン成功回数 |
count |
hadoop_tagsync_memorycurrent |
現在のメモリ使用量 |
count |
hadoop_tagsync_memorymax |
最大メモリ使用量 |
count |
hadoop_tagsync_numactivesinks |
アクティブな sink の数 |
count |
hadoop_tagsync_numactivesources |
アクティブな source の数 |
count |
hadoop_tagsync_numallsinks |
すべての source の総数 |
count |
hadoop_tagsync_processorsavailable |
利用可能なプロセッサ数 |
count |
hadoop_tagsync_publishavgtime |
publish 操作の平均所要時間 |
count |
hadoop_tagsync_publishnumops |
publish 操作の回数 |
count |
hadoop_tagsync_renewalfailures |
更新失敗回数 |
count |
hadoop_tagsync_renewalfailurestotal |
更新失敗の総回数 |
count |
hadoop_tagsync_sink_jsonavgtime |
JSON sink の平均所要時間 |
count |
hadoop_tagsync_sink_jsondropped |
JSON sink で破棄されたメッセージ数 |
count |
hadoop_tagsync_sink_jsonnumops |
JSON sink の操作回数 |
count |
hadoop_tagsync_sink_jsonqsize |
JSON sink のキューサイズ |
count |
hadoop_tagsync_sink_prometheusavgtime |
Prometheus sink の平均所要時間 |
count |
hadoop_tagsync_sink_prometheusdropped |
Prometheus sink で破棄されたメッセージ数 |
count |
hadoop_tagsync_sink_prometheusnumops |
Prometheus sink の操作回数 |
count |
hadoop_tagsync_sink_prometheusqsize |
Prometheus sink のキューサイズ |
count |
hadoop_tagsync_snapshotavgtime |
スナップショット操作の平均所要時間 |
count |
hadoop_tagsync_snapshotnumops |
スナップショット操作回数 |
count |
hadoop_tagsync_systemloadavg |
システムの平均負荷 |
count |
hadoop_tagsync_threadsblocked |
ブロックされているスレッド数 |
count |
hadoop_tagsync_threadsbusy |
ビジー状態のスレッド数 |
count |
hadoop_tagsync_threadsremaining |
残りのスレッド数 |
count |
hadoop_tagsync_threadswaiting |
待機中のスレッド数 |
count |