Ranger Admin
Ranger Admin のメトリクス情報を収集
設定¶
1.Ranger Admin 設定¶
1.1 jmx-exporter をダウンロード¶
ダウンロード先:https://github.com/prometheus/jmx_exporter
1.2 jmx スクリプトをダウンロード¶
ダウンロード先:https://github.com/lrwh/jmx-exporter/blob/main/common.yml
1.3 Ranger Admin の起動引数を調整¶
Ranger Admin の起動引数に追加します
{{JAVA_GC_ARGS}} -javaagent:/opt/jmx/jmx_exporter-1.0.1.jar=localhost:17143:/opt/jmx/common.yml
1.4 Ranger Admin を再起動¶
2. DataKit コレクター設定¶
2.1 DataKit のインストール¶
2.2 コレクターを設定¶
jmx-exporter により metrics URL を直接公開できるため、prom コレクターでそのまま収集できます。
DataKit のインストールディレクトリ 配下の conf.d/samples に移動し、prom.conf.sample を ranger-admin.conf にコピーします。
cp prom.conf.sample ranger-admin.conf
ranger_admin.conf の内容を次のように調整します。
urls = ["http://localhost:17143/metrics"]
source ="ranger-admin"
[inputs.prom.tags]
component = "ranger-admin"
interval = "10s"
その他の設定は必要に応じて調整してください、調整パラメータの説明:
- urls:
jmx-exporterのメトリクスアドレス。ここには対応コンポーネントが公開するメトリクス URL を入力します - source:コレクターの別名。区別することを推奨します
- keep_exist_metric_name: メトリクス名を保持します
- interval:収集間隔
- inputs.prom.tags: 追加の tag を設定します
3. DataKit を再起動¶
メトリクス¶
Hadoop メトリクスセット¶
Ranger Admin のメトリクスは Hadoop メトリクスセットに含まれており、ここでは Ranger Admin 関連のメトリクスを説明します
| メトリクス | 説明 | 単位 |
|---|---|---|
hadoop_admin_contextenrichercount |
コンテキストエンリッチャーの数 |
count |
hadoop_admin_contextenrichercounttag |
特定のタグ付きコンテキストエンリッチャーの数 |
count |
hadoop_admin_denyconditioncount |
拒否条件の数 |
count |
hadoop_admin_denyconditioncounttag |
特定のタグ付き拒否条件の数 |
count |
hadoop_admin_droppedpuball |
破棄された公開操作の総数 |
count |
hadoop_admin_gccounttotal |
ガベージコレクション(GC)の総回数 |
count |
hadoop_admin_gctimemax |
ガベージコレクション(GC)の最大所要時間 |
ms |
hadoop_admin_gctimetotal |
ガベージコレクション(GC)の合計所要時間 |
ms |
hadoop_admin_getgroupsavgtime |
ユーザーグループ取得の平均時間 |
ms |
hadoop_admin_getgroupsnumops |
ユーザーグループ取得の操作回数 |
count |
hadoop_admin_groupcount |
ユーザーグループ数 |
count |
hadoop_admin_loginfailureavgtime |
ログイン失敗の平均所要時間 |
ms |
hadoop_admin_loginfailurenumops |
ログイン失敗回数 |
count |
hadoop_admin_loginsuccessavgtime |
ログイン成功の平均所要時間 |
ms |
hadoop_admin_loginsuccessnumops |
ログイン成功回数 |
count |
hadoop_admin_maskingcount |
データマスキング回数 |
count |
hadoop_admin_memorycurrent |
現在のメモリ使用量 |
count |
hadoop_admin_memorymax |
最大メモリ使用量 |
count |
hadoop_admin_numactivesinks |
アクティブなシンク数 |
count |
hadoop_admin_numactivesources |
アクティブなソース数 |
count |
hadoop_admin_numallsinks |
全シンクの総数 |
count |
hadoop_admin_numallsources |
全ソースの総数 |
count |
hadoop_admin_processorsavailable |
利用可能なプロセッサ数 |
count |
hadoop_admin_publishavgtime |
公開操作の平均所要時間 |
ms |
hadoop_admin_publishnumops |
公開操作回数 |
count |
hadoop_admin_renewalfailures |
更新失敗回数 |
count |
hadoop_admin_renewalfailurestotal |
更新失敗の総回数 |
count |
hadoop_admin_resourceaccesscount |
リソースアクセス回数 |
count |
hadoop_admin_resourceaccesscountatlas |
Atlas リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscounthbase |
HBase リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscounthdfs |
HDFS リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscounthive |
Hive リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountkafka_connect |
Kafka Connect リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountkms |
KMS(キー管理システム)リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountknox |
Knox リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountkudu |
Kudu リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountozone |
Ozone リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscountsolr |
Solr リソースへのアクセス回数 |
count |
hadoop_admin_resourceaccesscounttag |
特定のタグ付きリソースアクセス回数 |
count |
hadoop_admin_resourceaccesscountyarn |
ARN(Amazon リソースネーム)を使用したリソースアクセス回数 |
count |
hadoop_admin_rowfilteringcount |
行フィルタリング回数 |
count |
hadoop_admin_servicecount |
サービス総数 |
count |
hadoop_admin_servicecountatlas |
Atlas サービス数 |
count |
hadoop_admin_servicecounthbase |
HBase サービス数 |
count |
hadoop_admin_servicecounthdfs |
HDFS サービス数 |
count |
hadoop_admin_servicecounthive |
Hive サービス数 |
count |
hadoop_admin_servicecountkafka |
Kafka サービス数 |
count |
hadoop_admin_servicecountkafka_connect |
Kafka Connect サービス数 |
count |
hadoop_admin_servicecountkms |
KMS サービス数 |
count |
hadoop_admin_servicecountknox |
Knox サービス数 |
count |
hadoop_admin_servicecountkudu |
Kudu サービス数 |
count |
hadoop_admin_servicecountsolr |
Solr サービス数 |
count |
hadoop_admin_servicecounttag |
特定のタグ付きサービス数 |
count |
hadoop_admin_servicecountyarn |
ARN を使用したサービス数 |
count |
hadoop_admin_sink_jsonavgtime |
JSON シンクの平均処理時間 |
ms |
hadoop_admin_sink_jsondropped |
JSON シンクで破棄されたメッセージ数 |
count |
hadoop_admin_sink_jsonnumops |
JSON シンクの操作回数 |
count |
hadoop_admin_sink_jsonqsize |
JSON シンクのキューサイズ |
count |
hadoop_admin_sink_prometheusavgtime |
Prometheus シンクの平均処理時間 |
count |
hadoop_admin_sink_prometheusdropped |
Prometheus シンクで破棄されたメッセージ数 |
count |
hadoop_admin_sink_prometheusnumops |
Prometheus シンクの操作回数 |
count |
hadoop_admin_sink_prometheusqsize |
Prometheus シンクのキューサイズ |
count |
hadoop_admin_snapshotavgtime |
スナップショット操作の平均所要時間 |
count |
hadoop_admin_snapshotnumops |
スナップショット操作回数 |
count |
hadoop_admin_systemloadavg |
システム平均負荷 |
count |
hadoop_admin_threadsblocked |
ブロック中のスレッド数 |
count |
hadoop_admin_threadsbusy |
ビジー状態のスレッド数 |
count |
hadoop_admin_threadsremaining |
残りのスレッド数 |
count |
hadoop_admin_threadswaiting |
待機中のスレッド数 |
count |
hadoop_admin_usercount |
ユーザー総数 |
count |
hadoop_admin_systemloadavg |
システム平均負荷 |
count |
hadoop_admin_usercountsysadmin |
システム管理者ユーザー数 |
count |
hadoop_admin_usercountuser |
一般ユーザー数 |
count |