Volcengine VCM Kafka¶
Volcengine VCM Kafka の表示メトリクスには、Broker のオンライン率、CPU 使用率、メモリ使用率、ディスク使用率、メッセージの生成・消費レート、リクエスト遅延などが含まれます。これらのメトリクスは、Kafka インスタンスの稼働状況、リソース使用量、パフォーマンスを反映します。
設定¶
Func のインストール¶
Guance の連携 - 拡張 - マネージド版 Func を有効化することを推奨します。前提条件はすべて自動で整うため、そのままスクリプトのインストールに進んでください
Func を自前でデプロイする場合は Func を自前でデプロイする
スクリプトのインストール¶
注意: 要件を満たす Volcengine AK を事前に用意してください（簡単のため、グローバル読み取り専用権限
ReadOnlyAccessを直接付与して構いません）
VCM Kafka のクラウドリソースの監視データを同期するため、対応する収集スクリプト「Guance 連携（Volcengine - VCM Kafka 収集）」(ID: integration_volcengine_vcm_kafka) をインストールします。
【インストール】をクリックした後、対応するパラメータとして Volcengine AK、Volcengine アカウント名を入力します。
【起動スクリプトをデプロイ】をクリックすると、システムは自動的に Startup スクリプトセットを作成し、対応する起動スクリプトを自動で設定します。
有効化後は、「管理 / 自動トリガー設定」で対応する自動トリガー設定を確認できます。【実行】をクリックすると、定期実行を待たずにすぐ 1 回実行できます。少し待ってから、実行タスクの記録と対応するログを確認できます。
対応するログを収集する場合は、該当するログ収集スクリプトも有効化してください。請求データを収集する場合は、クラウド請求収集スクリプトを有効化してください。
確認¶
- 「管理 / 自動トリガー設定」で、該当タスクに対応する自動トリガー設定が存在するか確認し、あわせてタスク記録とログを確認して異常がないかチェックします
- Guance の「インフラストラクチャ / カスタム」で、資産情報が存在するか確認します
- Guance の「メトリクス」で、対応する監視データがあるか確認します
メトリクス¶
Volcengine - Cloud Monitor の設定が完了していれば、既定のメトリクスセットは以下のとおりです。設定により、さらに多くのメトリクスを収集できます Volcengine Cloud Monitor のメトリクス詳細
注意:
volcengineの VCM Kafka コンソールで監視プラグインをインストールする必要があります
MetricName |
Subnamespace |
メトリクス表示名 | MetricUnit | Dimension |
|---|---|---|---|---|
MetricName |
SubNamespace |
メトリクス名 | MetricUnit | Dimension |
broker_online_rate |
Instance |
ノードオンライン率 | Percent | ResourceID |
cap_util |
Instance |
容量使用率 | Percent | ResourceID |
connections_count |
Instance |
インスタンス接続数 | Count | ResourceID |
connections_per_ip |
Instance |
IP 接続数 | Count | ClientIP,ResourceID |
consumption_rate_percent |
Instance |
消費帯域割合 | Percent | ResourceID |
consumption_request_mean_time |
Instance |
メッセージ消費平均所要時間 | Millisecond | ResourceID |
consumption_request_p99_time |
Instance |
メッセージ消費 P99 所要時間 | Millisecond | ResourceID |
cpu_util |
Instance |
CPU 使用率 | Percent | ResourceID |
disk_util |
Broker |
ディスク使用率 | Percent | ResourceID,Broker |
dsik_skewness |
Instance |
ディスク偏り率 | Percent | ResourceID |
group_consumption_rate |
Group |
消費グループ消費レート | Count | Group,ResourceID |
group_msg_accum |
Group |
消費グループメッセージ蓄積量 | Count | Group,ResourceID |
group_rebalance_count |
Group |
消費グループ再均衡回数 | Count | Group,ResourceID |
instance_available_group |
Instance |
残り利用可能な消費グループ数 | Count | ResourceID |
instance_available_partition |
Instance |
残り利用可能なパーティション数 | Count | ResourceID |
max_disk_util |
Instance |
ノード最大ディスク使用率 | Percent | ResourceID |
mem_util |
Instance |
メモリ使用率 | Percent | ResourceID |
msg_consumption_rate |
Instance |
メッセージ消費レート | Bytes/Second(SI) | ResourceID |
msg_production_count |
Instance |
メッセージ生成件数 | Count/Second | ResourceID |
msg_production_rate |
Instance |
メッセージ生成レート | Bytes/Second(SI) | ResourceID |
partition_msg_accum |
Group_Partition |
パーティションメッセージ蓄積量 | Count | Group,Partition,ResourceID,Topic |
produce_request_mean_time |
Broker |
メッセージ生成平均所要時間 | Millisecond | ResourceID,Broker |
production_rate_percent |
Instance |
生成帯域割合 | Percent | ResourceID |
production_request_mean_time |
Instance |
メッセージ生成平均所要時間 | Millisecond | ResourceID |
production_request_p99_time |
Instance |
メッセージ生成 P99 所要時間 | Millisecond | ResourceID |
req_consumption_count |
Instance |
メッセージ消費回数 | Count/Second | ResourceID |
req_production_count |
Instance |
メッセージ生成回数 | Count/Second | ResourceID |
topic_consumption_rate |
Group_Topic |
Topic 消費レート | Count | Group,ResourceID,Topic |
topic_data_size |
Topic |
Topic データサイズ | Bits(IEC) | ResourceID,Topic |
topic_msg_accum |
Group_Topic |
Topic メッセージ蓄積量 | Count | Group,ResourceID,Topic |
オブジェクト¶
収集された Volcengine VCM Kafka オブジェクト名 volcengine_kafka のデータ構造は、「インフラストラクチャ - カスタム」でオブジェクトデータを確認できます。