AutoMQ¶
AutoMQ 関連のメトリクス情報を収集します。
インストールと設定¶
1. AutoMQ でメトリクスを有効化¶
AutoMQ の起動コマンドを調整します。
bin/kafka-server-start.sh ...\
--override s3.telemetry.metrics.exporter.type=prometheus \
--override s3.metrics.exporter.prom.port=8890 \
--override s3.metrics.exporter.prom.host=0.0.0.0 \
......
AutoMQ のメトリクス公開ポートは 8890 です。ブラウザからメトリクス関連情報を確認できます: http://clientIP:8890/metrics。
2. DataKit コレクター設定¶
2.1 DataKit をインストール¶
2.2 コレクターを設定¶
AutoMQ は metrics URL を直接公開できるため、prom コレクターで直接収集できます。
DataKit のインストールディレクトリ の conf.d/samples に移動し、prom.conf.sample を automq.conf にコピーします。
cp prom.conf.sample automq.conf
automq.conf の内容を次のように調整します。
urls = ["http://clientIP:8890/metrics"]
source = "AutoMQ"
## Keep Exist Metric Name
## If the keep_exist_metric_name is true, keep the raw value for field names.
keep_exist_metric_name = true
[inputs.prom.tags_rename]
overwrite_exist_tags = true
[inputs.prom.tags_rename.mapping]
service_name = "job"
service_instance_id = "instance"
[inputs.prom.tags]
component="AutoMQ"
interval = "10s"
その他の設定は必要に応じて調整してください
、パラメータの説明は次のとおりです。
- urls：
AutoMQのメトリクスアドレス。ここには、該当コンポーネントが公開しているメトリクス URL を入力します - source：コレクターの別名。識別のために区別することを推奨します
- interval：収集間隔
3. DataKit を再起動¶
メトリクス¶
kafka メトリクスセット¶
| 指標 | 説明 | 単位 |
|---|---|---|
| kafka_server_connection_count | ノードが現在確立している接続数 | Gauge |
| kafka_network_threads_idle_rate | Kafka SocketServer のネットワークスレッドのアイドル率。範囲は [0, 1.0]。 | Gauge |
| kafka_controller_active_count | 現在の Controller ノードが active Controller かどうかを示す。値が 1 の場合は active、0 の場合は非 active。 | Gauge |
| kafka_broker_active_count | 現在のクラスタにおける active Broker 数。 | Gauge |
| kafka_broker_fenced_count | 現在のクラスタで fence された Broker 数。 | Gauge |
| kafka_topic_count | 現在のクラスタにおける Topic 総数。 | Gauge |
| kafka_partition_total_count | 現在のクラスタにおける Partition 総数。 | Gauge |
| kafka_partition_offline_count | 現在のクラスタにおける leader を持たない Partition の総数。 | Gauge |
| kafka_stream_s3_object_count | 現在のクラスタでオブジェクトストレージにアップロードされた Object の総数。Object の状態ごとに分類される。 | Gauge |
| kafka_stream_s3_object_size_bytes | 現在のクラスタでオブジェクトストレージにアップロードされた Object の総サイズ。 | byte |
| kafka_stream_stream_object_num | 現在のクラスタでオブジェクトストレージにアップロードされた StreamObject の数。 | Gauge |
| kafka_stream_stream_set_object_num | 現在のクラスタで各 Broker がオブジェクトストレージにアップロードした StreamSetObject の数。 | Gauge |
| kafka_message_count_total | Broker ノードが受信したメッセージ総数。時間で微分するとメッセージ数のスループットを得られる。 | Counter |
| kafka_network_io_bytes_total | Broker ノードが受信および送信したメッセージサイズの総量。時間で微分するとメッセージサイズのスループットを得られる。 | Counter |
| kafka_request_size_bytes_total | Broker ノードが受信したリクエストサイズの合計。 | Byte |
| kafka_topic_request_count_total | Broker ノード上の各 Topic が受信したリクエスト総数。produce と fetch の 2 種類のリクエストのみを含む。 | Counter |
| kafka_topic_request_failed_total | Broker ノード上の各 Topic におけるリクエスト失敗総数。produce と fetch の 2 種類のリクエストのみを含む。 | Counter |
| kafka_request_count_total | Broker ノードが受信したリクエスト総数。 | Counter |
| kafka_request_time_milliseconds_total | Broker ノードがリクエストを処理するのに要した総時間。 | ms |
| kafka_request_queue_size | Broker ノードのリクエストキューサイズ。 | Byte |
| kafka_response_queue_size | Broker ノードのレスポンスキューサイズ。 | Byte |
| kafka_partition_count | Broker ノードに現在割り当てられている Partition 数。 | Counter |
| kafka_log_size | Broker ノード上の各 Partition のメッセージサイズ。 | Byte |
より詳しいメトリクスの説明は AutoMQ 公式ドキュメント を参照してください。