Confluent Cloud

Confluent Cloud에서 Kafka 메트릭 데이터를 수집

설정¶

Confluent Cloud 메트릭 통합 설정¶

1. Confluent Cloud에 로그인한 뒤, ADMINISTRATION 아래에서 Metrics를 선택합니다.

2. Metrics 페이지에서 New integration 버튼을 클릭하고, 모니터링 유형으로 Prometheus를 선택합니다.

3. Generate Cloud API key 버튼을 클릭하여 API Key를 생성합니다.

4. Resources에서 All Kafka clusters를 선택하여 Prometheus용 scrape_configs를 생성합니다.

5. 페이지의 Copy 버튼을 클릭하여 내용을 복사합니다.

scrape_configs:
  - job_name: Confluent Cloud
    scrape_interval: 1m
    scrape_timeout: 1m
    honor_timestamps: true
    static_configs:
      - targets:
        - api.telemetry.confluent.cloud
    scheme: https
    basic_auth:
      username: H5BO.....
      password: RDCgMwguHMy.....
    metrics_path: /v2/metrics/cloud/export
    params:
      "resource.kafka.id":
        - lkc-xxxx

DataKit 수집기 설정¶

Confluent Cloud는 metrics url을 직접 노출할 수 있으므로, prom 수집기를 통해 바로 수집할 수 있습니다.

DataKit 설치 디렉터리의 conf.d/prom으로 들어가 prom.conf.sample을 confluent_cloud.conf로 복사합니다.

cp prom.conf.sample confluent_cloud.conf

confluent_cloud.conf 내용을 아래와 같이 조정합니다.

# {"version": "1.61.0-testing_testing-graphite-metric-set", "desc": "do NOT edit this line"}

[[inputs.prom]]
  ## Exporter URLs.
  urls = ["https://api.telemetry.confluent.cloud/v2/metrics/cloud/export?resource.kafka.id=lkc-xxxx"]

  source = "confluent_cloud"

  ## Add HTTP headers to data pulling (Example basic authentication).
  [inputs.prom.http_headers]
     Authorization = "Basic QkXXXXXXXXXXXX"

  interval = "60s"

파라미터 설명은 다음과 같습니다.

• urls: Confluent Cloud에서 복사한 내용을 조정해 URL로 연결합니다. Kafka 리소스가 여러 개라면 쉼표로 구분합니다.

• Authorization: 사용자명과 비밀번호를 Basic Authorization 형식으로 변환합니다.

• interval: 60s로 조정합니다. Confluent Cloud API 제한 때문에 이 값은 60s보다 작을 수 없으며, 더 작게 설정하면 데이터를 수집할 수 없습니다.

DataKit 재시작¶

DataKit 재시작

메트릭¶

confluent 메트릭 세트¶