コンテンツにスキップ

Ranger Tagsync

Ranger Tagsync のメトリクス情報を収集する

設定

1. Ranger Tagsync の設定

1.1 jmx-exporter をダウンロードする

ダウンロード先:https://github.com/prometheus/jmx_exporter

1.2 jmx スクリプトをダウンロードする

ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/common.yml

1.3 Ranger Tagsync の起動パラメータを調整する

Ranger Tagsync の起動パラメータに追加する

{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17144:/opt/jmx/common.yml

1.4 Ranger Tagsync を再起動する

2. DataKit 収集器の設定

2.1 DataKit をインストールする

2.2 収集器を設定する

jmx-exporter により metrics URL を直接公開できるため、prom 収集器で直接収集できます。

DataKit のインストールディレクトリ 配下の conf.d/samples に移動し、prom.conf.sampleranger-tagsync.conf にコピーします。

cp prom.conf.sample ranger-tagsync.conf

ranger_tagsync.conf の内容を以下のように調整します。

  urls = ["http://localhost:17144/metrics"]
  source ="ranger-tagsync"
  [inputs.prom.tags]
    component = "ranger-tagsync" 
  interval = "10s"

他の設定は必要に応じて調整してください。設定項目の説明は以下のとおりです:

  • urls:jmx-exporter のメトリクスアドレス。ここには該当コンポーネントが公開するメトリクス URL を入力します
  • source:収集器の別名。識別できるように分けることを推奨します
  • keep_exist_metric_name: メトリクス名を保持する
  • interval:収集間隔
  • inputs.prom.tags: 追加の tag を設定する

3. DataKit を再起動する

DataKit を再起動する

メトリクス

Hadoop メトリクスセット

Ranger Tagsync のメトリクスは Hadoop メトリクスセットに含まれます。ここでは主に Ranger Tagsync 関連のメトリクスについて説明します。

Metrics 説明 単位
hadoop_tagsync_countevents 発生したイベントの総数 count
hadoop_tagsync_counteventstime これらのイベントの処理に要した合計時間 ms
hadoop_tagsync_countuploads アップロード操作の総数 count
hadoop_tagsync_countuploadstime アップロード操作の処理に要した合計時間 count
hadoop_tagsync_droppedpuball 失われた publish イベントの総数 count
hadoop_tagsync_gccounttotal ガベージコレクション(GC)の総回数 count
hadoop_tagsync_gctimemax ガベージコレクション(GC)の最大所要時間 ms
hadoop_tagsync_gctimetotal ガベージコレクション(GC)の合計所要時間 count
hadoop_tagsync_getgroupsavgtime ユーザーグループ取得の平均時間 ms
hadoop_tagsync_getgroupsnumops ユーザーグループ取得の操作回数 count
hadoop_tagsync_loginfailureavgtime ログイン失敗の平均所要時間 ms
hadoop_tagsync_loginfailurenumops ログイン失敗回数 count
hadoop_tagsync_loginsuccessavgtime ログイン成功の平均所要時間 ms
hadoop_tagsync_loginsuccessnumops ログイン成功回数 count
hadoop_tagsync_memorycurrent 現在のメモリ使用量 count
hadoop_tagsync_memorymax 最大メモリ使用量 count
hadoop_tagsync_numactivesinks アクティブな sink の数 count
hadoop_tagsync_numactivesources アクティブな source の数 count
hadoop_tagsync_numallsinks すべての source の総数 count
hadoop_tagsync_processorsavailable 利用可能なプロセッサ数 count
hadoop_tagsync_publishavgtime publish 操作の平均所要時間 count
hadoop_tagsync_publishnumops publish 操作の回数 count
hadoop_tagsync_renewalfailures 更新失敗回数 count
hadoop_tagsync_renewalfailurestotal 更新失敗の総回数 count
hadoop_tagsync_sink_jsonavgtime JSON sink の平均所要時間 count
hadoop_tagsync_sink_jsondropped JSON sink で破棄されたメッセージ数 count
hadoop_tagsync_sink_jsonnumops JSON sink の操作回数 count
hadoop_tagsync_sink_jsonqsize JSON sink のキューサイズ count
hadoop_tagsync_sink_prometheusavgtime Prometheus sink の平均所要時間 count
hadoop_tagsync_sink_prometheusdropped Prometheus sink で破棄されたメッセージ数 count
hadoop_tagsync_sink_prometheusnumops Prometheus sink の操作回数 count
hadoop_tagsync_sink_prometheusqsize Prometheus sink のキューサイズ count
hadoop_tagsync_snapshotavgtime スナップショット操作の平均所要時間 count
hadoop_tagsync_snapshotnumops スナップショット操作回数 count
hadoop_tagsync_systemloadavg システムの平均負荷 count
hadoop_tagsync_threadsblocked ブロックされているスレッド数 count
hadoop_tagsync_threadsbusy ビジー状態のスレッド数 count
hadoop_tagsync_threadsremaining 残りのスレッド数 count
hadoop_tagsync_threadswaiting 待機中のスレッド数 count

フィードバック

このページは役に立ちましたか?