Confluent Cloud

Confluent Cloud から Kafka メトリクスを収集する

設定¶

Confluent Cloud メトリクス連携設定¶

1. Confluent Cloud にログインし、ADMINISTRATION の下で Metrics を選択する

2. Metrics ページで New integration ボタンをクリックし、監視タイプとして Prometheus を選択する

3. Generate Cloud API key ボタンをクリックして API Key を生成する

4. Resources で All Kafka clusters を選択し、Prometheus 用の scrape_configs を生成する

5. ページの Copy ボタンをクリックして内容をコピーする

scrape_configs:
  - job_name: Confluent Cloud
    scrape_interval: 1m
    scrape_timeout: 1m
    honor_timestamps: true
    static_configs:
      - targets:
        - api.telemetry.confluent.cloud
    scheme: https
    basic_auth:
      username: H5BO.....
      password: RDCgMwguHMy.....
    metrics_path: /v2/metrics/cloud/export
    params:
      "resource.kafka.id":
        - lkc-xxxx

DataKit コレクター設定¶

Confluent Cloud は metrics url を直接公開できるため、prom コレクターでそのまま収集できます。

DataKit インストールディレクトリ の conf.d/prom に入り、prom.conf.sample を confluent_cloud.conf としてコピーします。

cp prom.conf.sample confluent_cloud.conf

confluent_cloud.conf の内容を次のように調整します。

# {"version": "1.61.0-testing_testing-graphite-metric-set", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["https://api.telemetry.confluent.cloud/v2/metrics/cloud/export?resource.kafka.id=lkc-xxxx"]

  source = "confluent_cloud"

  ## Add HTTP headers to data pulling (Example basic authentication).
  [inputs.prom.http_headers]
     Authorization = "Basic QkXXXXXXXXXXXX"

  interval = "60s"

パラメータの説明:

• urls: Confluent Cloud からコピーした内容を調整して url を組み立てます。Kafka リソースが複数ある場合は、カンマで区切ります

• Authorization: ユーザー名とパスワードを Basic Authorization 形式に変換します

• interval: 60s に設定します。Confluent Cloud API の制限により、この値は 60s 未満にできず、これより小さい値ではデータを収集できません

DataKit を再起動する¶

DataKit を再起動する

メトリクス¶

confluent メトリクスセット¶