Huawei Cloud DMS Kafka
Huawei Cloud DMS Kafka のメトリクスデータを収集します
設定¶
Func のインストール¶
Guance のインテグレーション - 拡張 - マネージド版 Func を有効にすることを推奨します。前提条件はすべて自動でインストールされるため、続けてスクリプトをインストールしてください
Func を自分でデプロイする場合はFunc を自分でデプロイするを参照してください
スクリプトのインストール¶
注意:要件を満たす Huawei Cloud の AK を事前に準備してください。簡単のため、グローバル読み取り専用権限
Tenant Guestを直接付与してもかまいません
マネージド版の有効化スクリプト¶
- Guance コンソールにログインします
- 【インテグレーション】メニューをクリックし、【クラウドアカウント管理】を選択します
- 【クラウドアカウントを追加】をクリックし、【Huawei Cloud】を選択して、画面に必要な情報を入力します。すでにクラウドアカウント情報を設定済みの場合は、この手順を省略してください
- 【テスト】をクリックし、テスト成功後に【保存】をクリックします。テストに失敗した場合は、関連する設定情報が正しいか確認し、再度テストしてください
- 【クラウドアカウント管理】の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
- クラウドアカウント詳細ページの【インテグレーション】ボタンをクリックし、
未インストールリストからHuawei Cloud Kafkaを見つけて【インストール】ボタンをクリックすると、インストール画面が表示されるのでそのままインストールします
手動有効化スクリプト¶
-
Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットに入り、
integration_huaweicloud_kafkaを検索します -
【インストール】をクリックしたあと、対応するパラメータを入力します。Huawei Cloud の AK、SK、およびアカウント名です
-
【デプロイしてスクリプトを開始】をクリックすると、システムが自動的に
Startupスクリプトセットを作成し、対応する起動スクリプトを自動で設定します -
有効化後は「管理 / 自動トリガー設定」で該当する自動トリガー設定を確認できます。【実行】をクリックすると、定期実行を待たずにすぐ 1 回実行できます。しばらくすると、実行タスクの履歴と対応するログを確認できます
検証¶
- 「管理 / 自動トリガー設定」で、対応するタスクに該当する自動トリガー設定が存在するか確認し、あわせてタスク履歴とログを確認して異常がないかチェックします
- Guance の「インフラ - リソースディレクトリ」で資産情報が存在するか確認します
- Guance の「メトリクス」で対応する監視データがあるか確認します
メトリクス¶
Huawei Cloud DMS Kafka のメトリクスデータを収集します。設定により、さらに多くのメトリクスを収集できます Huawei Cloud DMS kafka メトリクス詳細
インスタンス監視メトリクス¶
| メトリクス名 | メトリクスの意味 | 単位 | 次元 |
|---|---|---|---|
| current_partitions | このメトリクスは、Kafka インスタンス内で使用済みのパーティション数を集計します | Count | instance_id |
| current_topics | このメトリクスは、Kafka インスタンス内で作成済みのトピック数を集計します | Count | instance_id |
| group_msgs | このメトリクスは、Kafka インスタンス内のすべてのコンシューマーグループにおける総滞留メッセージ数を集計します | Count | instance_id |
ノード監視メトリクス¶
| メトリクス名 | メトリクスの意味 | 単位 | 次元 |
|---|---|---|---|
| broker_data_size | このメトリクスは、ノードの現在のメッセージデータサイズを集計します | Byte | instance_id |
| broker_messages_in_rate | このメトリクスは、1 秒あたりに生成されるメッセージ数を集計します | Count/s | instance_id |
| broker_bytes_in_rate | このメトリクスは、1 秒あたりに生成されるバイト数を集計します | Byte/s | instance_id |
| broker_bytes_out_rate | このメトリクスは、1 秒あたりに消費されるバイト数を集計します | Byte/s | instance_id |
| broker_public_bytes_in_rate | Broker ノードへの 1 秒あたりのパブリックアクセス流入トラフィックを集計します | Byte/s | instance_id |
| broker_public_bytes_out_rate | Broker ノードからの 1 秒あたりのパブリックアクセス流出トラフィックを集計します | Byte/s | instance_id |
| broker_fetch_mean | Broker ノードがコンシューマー要求を処理する平均所要時間を集計します | ms | instance_id |
| broker_produce_mean | 生成リクエストの平均処理時間 | ms | instance_id |
| broker_cpu_core_load | Kafka ノードの仮想マシン層で収集された、各 CPU コアの平均負荷 | % | instance_id |
| broker_disk_usage | Kafka ノードの仮想マシン層で収集されたディスク容量使用率 | % | instance_id |
| broker_memory_usage | Kafka ノードの仮想マシン層で収集されたメモリ使用率 | % | instance_id |
| broker_heap_usage | Kafka ノードの Kafka プロセス JVM で収集されたヒープメモリ使用率 | % | instance_id |
| broker_alive | Kafka ノードが稼働しているかを示します | 1:稼働 0:オフライン | instance_id |
| broker_connections | Kafka ノードの現在の TCP 接続数 | Count | instance_id |
| broker_cpu_usage | Kafka ノードの仮想マシンの CPU 使用率 | % | instance_id |
| broker_total_bytes_in_rate | Broker ノードへのネットワークアクセス流入トラフィック/秒 | Byte/s | instance_id |
| broker_total_bytes_out_rate | Broker ノードからのネットワークアクセス流出トラフィック/秒 | Byte/s | instance_id |
| broker_disk_read_rate | ディスク読み取り操作のトラフィック | Byte/s | instance_id |
| broker_disk_write_rate | ディスク書き込み操作のトラフィック | Byte/s | instance_id |
| network_bandwidth_usage | ネットワーク帯域利用率 | % | instance_id |
コンシューマーグループ監視メトリクス¶
| メトリクス名 | メトリクスの意味 | 単位 | 次元 |
|---|---|---|---|
| messages_consumed | このメトリクスは、現在のコンシューマーグループが消費したメッセージ数を集計します | Count | instance_id |
| messages_remained | このメトリクスは、コンシューマーグループが消費可能なメッセージ数を集計します | Count | instance_id |
| topic_messages_remained | このメトリクスは、コンシューマーグループが指定したキューで消費可能なメッセージ数を集計します | Count | instance_id |
| topic_messages_consumed | このメトリクスは、コンシューマーグループが指定したキューで現在すでに消費したメッセージ数を集計します | Count | instance_id |
| consumer_messages_remained | このメトリクスは、コンシューマーグループに残っている消費可能なメッセージ数を集計します | Count | instance_id |
| consumer_messages_consumed | このメトリクスは、コンシューマーグループが現在すでに消費したメッセージ数を集計します | Count | instance_id |
オブジェクト¶
収集された Huawei Cloud Kafka のオブジェクトデータ構造です。「インフラ - リソースディレクトリ」でオブジェクトデータを確認できます
{
"measurement": "huaweicloud_kafka",
"tags": {
"RegionId" : "cn-north-4",
"charging_mode" : "1",
"connect_address" : "192.168.0.161,192.168.0.126,192.168.0.31",
"description" : "",
"engine" : "kafka",
"engine_version" : "2.7",
"instance_id" : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
"kafka_manager_user" : "",
"name" : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
"port" : "9092",
"project_id" : "f5f4c067d68xxxx86e173b18367bf",
"resource_spec_code" : "",
"service_type" : "advanced",
"specification" : "kafka.2u4g.cluster.small * 3 broker",
"status" : "RUNNING",
"storage_type" : "hec",
"user_id" : "e4b27d49128e4bd0893b28d032a2e7c0",
"user_name" : "xxxx"
},
"fields": {
"created_at" : "1693203968959",
"maintain_begin" : "02:00:00",
"maintain_end" : "06:00:00",
"storage_space" : 186,
"total_storage_space" : 300,
"message" : "{インスタンス JSON データ}"
}
}
注意:
tags、fieldsの中のフィールドは、今後の更新により変更される可能性がありますヒント 1:
tags.nameの値はインスタンス ID であり、一意識別子として使用されますヒント 2:以下のフィールドはすべて JSON シリアライズ後の文字列です