Volcengine Kafka¶
Volcengine Kafka のメトリクスには、Broker オンライン率、CPU 使用率、メモリ使用率、ディスク使用率、メッセージの生成・消費レート、リクエスト遅延などが含まれます。これらのメトリクスは、Kafka インスタンスの稼働状況、リソース使用状況、パフォーマンスを示します。
設定¶
Func のインストール¶
Guance の「連携 - 拡張」からマネージド版 Func を有効にすることを推奨します。前提条件はすべて自動で整うため、スクリプトのインストールに進んでください。
Func を自分でデプロイする場合は、Func のセルフホスティングを参照してください。
スクリプトのインストール¶
注意:要件を満たす Volcengine AK を事前に用意してください(簡単に設定するには、グローバル読み取り専用権限
ReadOnlyAccessを付与できます)。
-
Func コンソールにログインし、【スクリプトマーケット】をクリックして Guance スクリプトマーケットを開き、
integration_volcengine_kafkaを検索します。 -
【インストール】をクリックし、必要なパラメーターである Volcengine AK ID、AK Secret、アカウント名を入力します。
-
【起動スクリプトをデプロイ】をクリックすると、システムが
Startupスクリプトセットを自動で作成し、対応する起動スクリプトを設定します。 -
有効化すると、「管理 / 自動トリガー設定」に対応する設定が表示されます。【実行】をクリックすると、スケジュール時刻を待たずにすぐ実行できます。しばらく待ってから、タスクの実行記録とログを確認してください。
確認¶
- 「管理 / 自動トリガー設定」で、該当タスクに対応する自動トリガー設定が存在することを確認し、タスク記録とログに異常がないか調べます。
- Guance の「インフラストラクチャ / カスタム」で、アセット情報が存在することを確認します。
- Guance の「メトリクス」で、対応する監視データが存在することを確認します。
メトリクス¶
Volcengine Cloud Monitoring を設定すると、以下のメトリクスがデフォルトで収集されます。設定により収集対象を追加できます。詳しくは Volcengine Cloud Monitoring のメトリクス詳細を参照してください。
注意:
volcengineKafka コンソールで監視プラグインをインストールする必要があります。
MetricName |
Subnamespace |
メトリクス名 | MetricUnit | Dimension |
|---|---|---|---|---|
MetricName |
SubNamespace |
メトリクス名 | MetricUnit | Dimension |
broker_online_rate |
Instance |
ノードオンライン率 | Percent | ResourceID |
cap_util |
Instance |
容量使用率 | Percent | ResourceID |
connections_count |
Instance |
インスタンス接続数 | Count | ResourceID |
connections_per_ip |
Instance |
IP ごとの接続数 | Count | ClientIP,ResourceID |
consumption_rate_percent |
Instance |
消費帯域幅の割合 | Percent | ResourceID |
consumption_request_mean_time |
Instance |
メッセージ消費の平均所要時間 | Millisecond | ResourceID |
consumption_request_p99_time |
Instance |
メッセージ消費の P99 所要時間 | Millisecond | ResourceID |
cpu_util |
Instance |
CPU 使用率 | Percent | ResourceID |
disk_util |
Broker |
ディスク使用率 | Percent | ResourceID,Broker |
dsik_skewness |
Instance |
ディスクの偏り率 | Percent | ResourceID |
group_consumption_rate |
Group |
コンシューマーグループの消費レート | Count | Group,ResourceID |
group_msg_accum |
Group |
コンシューマーグループのメッセージバックログ数 | Count | Group,ResourceID |
group_rebalance_count |
Group |
コンシューマーグループのリバランス回数 | Count | Group,ResourceID |
instance_available_group |
Instance |
残りの利用可能なコンシューマーグループ数 | Count | ResourceID |
instance_available_partition |
Instance |
残りの利用可能なパーティション数 | Count | ResourceID |
max_disk_util |
Instance |
ノードの最大ディスク使用率 | Percent | ResourceID |
mem_util |
Instance |
メモリ使用率 | Percent | ResourceID |
msg_consumption_rate |
Instance |
メッセージ消費レート | Bytes/Second(SI) | ResourceID |
msg_production_count |
Instance |
生成メッセージ数 | Count/Second | ResourceID |
msg_production_rate |
Instance |
メッセージ生成レート | Bytes/Second(SI) | ResourceID |
partition_msg_accum |
Group_Partition |
パーティションのメッセージバックログ数 | Count | Group,Partition,ResourceID,Topic |
produce_request_mean_time |
Broker |
メッセージ生成の平均所要時間 | Millisecond | ResourceID,Broker |
production_rate_percent |
Instance |
生成帯域幅の割合 | Percent | ResourceID |
production_request_mean_time |
Instance |
メッセージ生成の平均所要時間 | Millisecond | ResourceID |
production_request_p99_time |
Instance |
メッセージ生成の P99 所要時間 | Millisecond | ResourceID |
req_consumption_count |
Instance |
メッセージ消費回数 | Count/Second | ResourceID |
req_production_count |
Instance |
メッセージ生成回数 | Count/Second | ResourceID |
topic_consumption_rate |
Group_Topic |
Topic 消費レート | Count | Group,ResourceID,Topic |
topic_data_size |
Topic |
Topic データサイズ | Bits(IEC) | ResourceID,Topic |
topic_msg_accum |
Group_Topic |
Topic メッセージバックログ数 | Count | Group,ResourceID,Topic |
オブジェクト¶
収集される Volcengine Kafka オブジェクトの名前は volcengine_kafka です。「インフラストラクチャ - カスタム」でオブジェクトのデータと構造を確認できます。