AWS MSK（Prometheus）¶

Amazon Managed Streaming for Apache Kafka（Amazon MSK）のオープンモニタリングでは、Kafka Broker の JMX と Broker ノードのメトリクスを Prometheus 形式で公開できます。DataKit は Prometheus コレクターでこれらのエンドポイントを直接取得し、AWS AK、Func、または CloudWatch のクラウド収集スクリプトは使用しません。

設定¶

前提条件¶

• この統合は、Amazon MSK のオープンモニタリング を有効化した MSK Provisioned クラスタに適用されます。
• 既存クラスタでオープンモニタリングを有効にする前に、クラスタは ACTIVE 状態である必要があります。新規クラスタは作成時に有効化できます。既存クラスタは、クラスタ属性の Monitoring セクションで編集して有効化できます。
• DataKit は、MSK Broker のプライベート DNS を名前解決してアクセスできるネットワーク上にデプロイされている必要があります。通常は同一 VPC か、ネットワーク接続済みの VPC です。
• MSK のセキュリティグループでは、DataKit が属するセキュリティグループまたはセグメントから TCP 11001 と 11002 へのアクセスを許可する必要があります。VPC では DNS を有効にする必要があります。ネットワーク要件は AWS MSK Prometheus Collector の前提条件 を参照してください。
• JMX Exporter は 11001、Node Exporter は 11002 を使用します。AWS は、取得間隔を 60 秒未満にしないことを推奨しています。短すぎる間隔は、クラスタの CPU 使用率を上げる可能性があります。

注意: KRaft メタデータモードと MSK Express Broker では、オープンモニタリングとパブリックアクセスを同時に有効化できません。オープンモニタリング自体は無料ですが、アベイラビリティーゾーンをまたぐデータ転送には料金が発生する場合があります。

オープンモニタリングを有効にする¶

新規の MSK Provisioned クラスタでは、Monitoring セクションで「Enable open monitoring with Prometheus」を選択し、JMX Exporter、Node Exporter、またはその両方を有効にします。

既存クラスタでは、次の手順で有効にします。

1. Amazon MSK コンソール にログインし、対象クラスタを開きます。
2. Properties タブで Monitoring を見つけ、Edit をクリックします。
3. 「Enable open monitoring with Prometheus」を選択します。
4. JMX Exporter、Node Exporter、またはその両方を有効にしてから、変更を保存します。

AWS CLI を使って監視設定を更新することもできます。

aws kafka update-monitoring \
  --cluster-arn <cluster-arn> \
  --current-version <current-version> \
  --open-monitoring 'Prometheus={JmxExporter={EnabledInBroker=true},NodeExporter={EnabledInBroker=true}}'

詳細は AWS 公式ドキュメントを参照してください。

• 新規クラスタでオープンモニタリングを有効にする
• 既存クラスタでオープンモニタリングを有効にする

Prometheus の監視ターゲットを取得する¶

ListNodes を使ってクラスタの Broker DNS を取得します。

aws kafka list-nodes \
  --cluster-arn <cluster-arn>

返却結果の BrokerNodeInfo.Endpoints に含まれるすべての Broker DNS を記録します。各 Broker に対して 2 つのターゲットを設定する必要があります。

KRaft クラスタで Controller の JMX メトリクスも収集する場合は、ControllerNodeInfo.Endpoints が返す Controller DNS も 11001 のターゲットに追加する必要があります。エンドポイント形式と KRaft の説明は AWS Prometheus Host の設定 を参照してください。

DataKit ホスト上でネットワーク疎通を確認します。

curl -sS "http://<broker-dns>:11001/metrics" | head
curl -sS "http://<broker-dns>:11002/metrics" | head

DataKit を設定する¶

DataKit のインストールディレクトリ内の conf.d/samples ディレクトリに移動し、prom.conf.sample をコピーして aws_msk_prom.conf という名前にします。

cp prom.conf.sample aws_msk_prom.conf

aws_msk_prom.conf を調整します。すべての Broker DNS を対応する urls に追加します。KRaft の Controller DNS は、JMX Exporter の設定のみに追加します。

[[inputs.prom]]
  urls = [
    "http://<broker-dns-1>:11001/metrics",
    "http://<broker-dns-2>:11001/metrics",
    # KRaft はオプション:
    # "http://<controller-dns-1>:11001/metrics",
  ]
  source = "kafka_jmx"
  interval = "60s"
  metric_name_filter = ["^kafka_"]
  measurement_prefix = ""
  keep_exist_metric_name = false
  honor_timestamps = true
  election = false
  disable_host_tag = true
  disable_instance_tag = true
  disable_info_tag = false

  [[inputs.prom.measurements]]
    prefix = "kafka_controller_"
    name = "kafka_controller"

  [[inputs.prom.measurements]]
    prefix = "kafka_network_"
    name = "kafka_network"

  [[inputs.prom.measurements]]
    prefix = "kafka_log_"
    name = "kafka_log"

  [[inputs.prom.measurements]]
    prefix = "kafka_server_"
    name = "kafka_server"

  [inputs.prom.tags]
    cloud_provider = "aws"
    service = "msk"
    region_id = "<aws-region>"
    cluster_id = "<cluster-arn-or-id>"
    cluster_name = "<msk-cluster-name>"


[[inputs.prom]]
  urls = [
    "http://<broker-dns-1>:11002/metrics",
    "http://<broker-dns-2>:11002/metrics",
  ]
  source = "kafka_node"
  interval = "60s"
  metric_name_filter = ["^node_"]
  measurement_prefix = ""
  keep_exist_metric_name = false
  honor_timestamps = true
  election = false
  disable_host_tag = true
  disable_instance_tag = true
  disable_info_tag = false

  [[inputs.prom.measurements]]
    prefix = "node_"
    name = "kafka_node"

  [inputs.prom.tags]
    cloud_provider = "aws"
    service = "msk"
    region_id = "<aws-region>"
    cluster_id = "<cluster-arn-or-id>"
    cluster_name = "<msk-cluster-name>"


# オプション: 業務用 Producer、Consumer、Kafka Streams、Kafka Connect などのクライアント JMX Exporter メトリクスを収集します。
[[inputs.prom]]
  urls = [
    "http://<producer-client-ip>:7072/metrics",
    "http://<consumer-client-ip>:7073/metrics",
    "http://<streams-client-ip>:7074/metrics",
    "http://<connect-worker-ip>:7075/metrics",
  ]
  source = "kafka_client"
  interval = "60s"
  metric_name_filter = ["^kafka_(producer|consumer|stream|connect)_"]
  measurement_prefix = ""
  keep_exist_metric_name = false
  honor_timestamps = true
  election = false
  disable_host_tag = false
  disable_instance_tag = true
  disable_info_tag = false

  [[inputs.prom.measurements]]
    prefix = "kafka_producer_"
    name = "kafka_producer"

  [[inputs.prom.measurements]]
    prefix = "kafka_consumer_"
    name = "kafka_consumer"

  [[inputs.prom.measurements]]
    prefix = "kafka_connect_"
    name = "kafka_connect"

  [[inputs.prom.measurements]]
    prefix = "kafka_stream_"
    name = "kafka_stream"

  [inputs.prom.tags]
    cloud_provider = "aws"
    service = "msk"
    region_id = "<aws-region>"
    cluster_id = "<cluster-arn-or-id>"
    cluster_name = "<msk-cluster-name>"

11001 は Kafka Broker の JMX と Consumer Lag のメトリクスを公開し、11002 は Broker ノードの CPU やディスクなどのメトリクスを公開します。具体的な範囲は AWS Prometheus メトリクスの説明 を参照してください。Producer、Consumer、Kafka Streams、Kafka Connect はクライアントプロセスメトリクスであり、それぞれのプロセスに JMX Exporter を個別に組み込んでから収集する必要があります。

設定が完了したら DataKit を再起動します。

datakit service -R

確認¶

1. DataKit のログで aws_msk_prom.conf に接続エラーや名前解決エラーがないことを確認します。
2. Guance「メトリクス」 で、kafka_controller、kafka_network、kafka_server、kafka_node などのメトリクスセットが存在することを確認します。
3. メトリクスのタグに cloud_provider=aws、cluster_name=<msk-cluster-name>、および Broker host が期待どおりか確認します。
4. クライアント JMX Exporter を設定している場合は、kafka_producer、kafka_consumer、kafka_stream、kafka_connect のメトリクスセットにデータがあることも確認します。

メトリクス¶

Prometheus 収集を設定したら、推奨範囲には以下の 9 つのメトリクスセット、measurement、field、および固定セマンティックタグで区別される 115 個のメトリクスコンテキストが含まれます。Amazon MSK のオープンモニタリングは、Broker JMX と Node Exporter のメトリクスをネイティブに提供します。Producer、Consumer、Kafka Streams、Kafka Connect のメトリクスは、それぞれのクライアントプロセスで JMX Exporter を個別に有効化する必要があります。

Controller メトリクス¶

kafka_controller メトリクスセットには、8 個の推奨メトリクスコンテキストが含まれます。

ネットワークリクエストメトリクス¶

kafka_network メトリクスセットには、24 個の推奨メトリクスコンテキストが含まれます。

ログメトリクス¶

kafka_log メトリクスセットには、4 個の推奨メトリクスコンテキストが含まれます。

Broker サービスメトリクス¶

kafka_server メトリクスセットには、10 個の推奨メトリクスコンテキストが含まれます。

ノードリソースメトリクス¶

kafka_node メトリクスセットには、9 個の推奨メトリクスコンテキストが含まれます。

Producer クライアントメトリクス¶

kafka_producer メトリクスセットには、13 個の推奨メトリクスコンテキストが含まれます。

Consumer クライアントメトリクス¶

kafka_consumer メトリクスセットには、14 個の推奨メトリクスコンテキストが含まれます。

Kafka Streams メトリクス¶

kafka_stream メトリクスセットには、25 個の推奨メトリクスコンテキストが含まれます。

Kafka Connect メトリクス¶

kafka_connect メトリクスセットには、8 個の推奨メトリクスコンテキストが含まれます。