コンテンツにスキップ

Huawei Cloud DMS Kafka

Huawei Cloud DMS Kafka のメトリクスデータを収集します

設定

Func のインストール

Guance のインテグレーション - 拡張 - マネージド版 Func を有効にすることを推奨します。前提条件はすべて自動でインストールされるため、続けてスクリプトをインストールしてください

Func を自分でデプロイする場合はFunc を自分でデプロイするを参照してください

スクリプトのインストール

注意:要件を満たす Huawei Cloud の AK を事前に準備してください。簡単のため、グローバル読み取り専用権限 Tenant Guest を直接付与してもかまいません

マネージド版の有効化スクリプト

  1. Guance コンソールにログインします
  2. 【インテグレーション】メニューをクリックし、【クラウドアカウント管理】を選択します
  3. 【クラウドアカウントを追加】をクリックし、【Huawei Cloud】を選択して、画面に必要な情報を入力します。すでにクラウドアカウント情報を設定済みの場合は、この手順を省略してください
  4. 【テスト】をクリックし、テスト成功後に【保存】をクリックします。テストに失敗した場合は、関連する設定情報が正しいか確認し、再度テストしてください
  5. 【クラウドアカウント管理】の一覧で追加済みのクラウドアカウントを確認できます。該当するクラウドアカウントをクリックして詳細ページに入ります
  6. クラウドアカウント詳細ページの【インテグレーション】ボタンをクリックし、未インストール リストから Huawei Cloud Kafka を見つけて【インストール】ボタンをクリックすると、インストール画面が表示されるのでそのままインストールします

手動有効化スクリプト

  1. Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットに入り、integration_huaweicloud_kafka を検索します

  2. 【インストール】をクリックしたあと、対応するパラメータを入力します。Huawei Cloud の AK、SK、およびアカウント名です

  3. 【デプロイしてスクリプトを開始】をクリックすると、システムが自動的に Startup スクリプトセットを作成し、対応する起動スクリプトを自動で設定します

  4. 有効化後は「管理 / 自動トリガー設定」で該当する自動トリガー設定を確認できます。【実行】をクリックすると、定期実行を待たずにすぐ 1 回実行できます。しばらくすると、実行タスクの履歴と対応するログを確認できます

検証

  1. 「管理 / 自動トリガー設定」で、対応するタスクに該当する自動トリガー設定が存在するか確認し、あわせてタスク履歴とログを確認して異常がないかチェックします
  2. Guance の「インフラ - リソースディレクトリ」で資産情報が存在するか確認します
  3. Guance の「メトリクス」で対応する監視データがあるか確認します

メトリクス

Huawei Cloud DMS Kafka のメトリクスデータを収集します。設定により、さらに多くのメトリクスを収集できます Huawei Cloud DMS kafka メトリクス詳細

インスタンス監視メトリクス

メトリクス名 メトリクスの意味 単位 次元
current_partitions このメトリクスは、Kafka インスタンス内で使用済みのパーティション数を集計します Count instance_id
current_topics このメトリクスは、Kafka インスタンス内で作成済みのトピック数を集計します Count instance_id
group_msgs このメトリクスは、Kafka インスタンス内のすべてのコンシューマーグループにおける総滞留メッセージ数を集計します Count instance_id

ノード監視メトリクス

メトリクス名 メトリクスの意味 単位 次元
broker_data_size このメトリクスは、ノードの現在のメッセージデータサイズを集計します Byte instance_id
broker_messages_in_rate このメトリクスは、1 秒あたりに生成されるメッセージ数を集計します Count/s instance_id
broker_bytes_in_rate このメトリクスは、1 秒あたりに生成されるバイト数を集計します Byte/s instance_id
broker_bytes_out_rate このメトリクスは、1 秒あたりに消費されるバイト数を集計します Byte/s instance_id
broker_public_bytes_in_rate Broker ノードへの 1 秒あたりのパブリックアクセス流入トラフィックを集計します Byte/s instance_id
broker_public_bytes_out_rate Broker ノードからの 1 秒あたりのパブリックアクセス流出トラフィックを集計します Byte/s instance_id
broker_fetch_mean Broker ノードがコンシューマー要求を処理する平均所要時間を集計します ms instance_id
broker_produce_mean 生成リクエストの平均処理時間 ms instance_id
broker_cpu_core_load Kafka ノードの仮想マシン層で収集された、各 CPU コアの平均負荷 % instance_id
broker_disk_usage Kafka ノードの仮想マシン層で収集されたディスク容量使用率 % instance_id
broker_memory_usage Kafka ノードの仮想マシン層で収集されたメモリ使用率 % instance_id
broker_heap_usage Kafka ノードの Kafka プロセス JVM で収集されたヒープメモリ使用率 % instance_id
broker_alive Kafka ノードが稼働しているかを示します 1:稼働 0:オフライン instance_id
broker_connections Kafka ノードの現在の TCP 接続数 Count instance_id
broker_cpu_usage Kafka ノードの仮想マシンの CPU 使用率 % instance_id
broker_total_bytes_in_rate Broker ノードへのネットワークアクセス流入トラフィック/秒 Byte/s instance_id
broker_total_bytes_out_rate Broker ノードからのネットワークアクセス流出トラフィック/秒 Byte/s instance_id
broker_disk_read_rate ディスク読み取り操作のトラフィック Byte/s instance_id
broker_disk_write_rate ディスク書き込み操作のトラフィック Byte/s instance_id
network_bandwidth_usage ネットワーク帯域利用率 % instance_id

コンシューマーグループ監視メトリクス

メトリクス名 メトリクスの意味 単位 次元
messages_consumed このメトリクスは、現在のコンシューマーグループが消費したメッセージ数を集計します Count instance_id
messages_remained このメトリクスは、コンシューマーグループが消費可能なメッセージ数を集計します Count instance_id
topic_messages_remained このメトリクスは、コンシューマーグループが指定したキューで消費可能なメッセージ数を集計します Count instance_id
topic_messages_consumed このメトリクスは、コンシューマーグループが指定したキューで現在すでに消費したメッセージ数を集計します Count instance_id
consumer_messages_remained このメトリクスは、コンシューマーグループに残っている消費可能なメッセージ数を集計します Count instance_id
consumer_messages_consumed このメトリクスは、コンシューマーグループが現在すでに消費したメッセージ数を集計します Count instance_id

オブジェクト

収集された Huawei Cloud Kafka のオブジェクトデータ構造です。「インフラ - リソースディレクトリ」でオブジェクトデータを確認できます

{
  "measurement": "huaweicloud_kafka",
  "tags": {      
    "RegionId"           : "cn-north-4",
    "charging_mode"      : "1",
    "connect_address"    : "192.168.0.161,192.168.0.126,192.168.0.31",
    "description"        : "",
    "engine"             : "kafka",
    "engine_version"     : "2.7",
    "instance_id"        : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
    "kafka_manager_user" : "",
    "name"               : "beb33e02-xxxx-xxxx-xxxx-628a3994fd1f",
    "port"               : "9092",
    "project_id"         : "f5f4c067d68xxxx86e173b18367bf",
    "resource_spec_code" : "",
    "service_type"       : "advanced",
    "specification"      : "kafka.2u4g.cluster.small * 3 broker",
    "status"             : "RUNNING",
    "storage_type"       : "hec",
    "user_id"            : "e4b27d49128e4bd0893b28d032a2e7c0",
    "user_name"          : "xxxx"
  },
  "fields": {
    "created_at"          : "1693203968959",
    "maintain_begin"      : "02:00:00",
    "maintain_end"        : "06:00:00",
    "storage_space"       : 186,
    "total_storage_space" : 300,
    "message"             : "{インスタンス JSON データ}"
  }
}

注意:tagsfields の中のフィールドは、今後の更新により変更される可能性があります

ヒント 1:tags.name の値はインスタンス ID であり、一意識別子として使用されます

ヒント 2:以下のフィールドはすべて JSON シリアライズ後の文字列です

フィードバック

このページは役に立ちましたか?