火山引擎 VCM Kafka¶
火山引擎 VCM Kafka 的展示指标包括 Broker 在线率、CPU 利用率、内存利用率、磁盘使用率、消息生产和消费速率、请求延迟等，这些指标反映了 Kafka 实例的运行状态、资源使用和性能表现。
配置¶
安装 Func¶
推荐开通 观测云 集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好，请继续脚本安装
如果自行部署 Func 参考 自行部署 Func
安装脚本¶
提示：请提前准备好符合要求的火山引擎 AK（简单起见，可直接授予全局只读权限
ReadOnlyAccess）
同步 VCM Kafka 云资源的监控数据，我们安装对应的采集脚本：「观测云 集成（火山引擎-VCM Kafka 采集）」(ID：integration_volcengine_vcm_kafka)
点击【安装】后，输入相应的参数：火山引擎 AK、火山引擎账户名。
点击【部署启动脚本】，系统会自动创建 Startup 脚本集，并自动配置相应的启动脚本。
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志。
如果要采集对应的日志，还要开启相应的日志采集脚本。如果要采集账单，要开启云账单采集脚本。
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
- 在 观测云，「基础设施 / 自定义」中查看是否存在资产信息
- 在 观测云，「指标」查看是否有对应监控数据
指标¶
配置好火山引擎 - 云监控，默认的指标集如下，可以通过配置的方式采集更多的指标 火山引擎云监控指标详情
注意：需要在
volcengineVCM Kafka 控制台安装监控插件
MetricName |
Subnamespace |
指标中文名称 | MetricUnit | Dimension |
|---|---|---|---|---|
MetricName |
SubNamespace |
指标名称 | MetricUnit | Dimension |
broker_online_rate |
Instance |
节点在线率 | Percent | ResourceID |
cap_util |
Instance |
容量使用率 | Percent | ResourceID |
connections_count |
Instance |
实例连接数 | Count | ResourceID |
connections_per_ip |
Instance |
IP 链接数 | Count | ClientIP,ResourceID |
consumption_rate_percent |
Instance |
消费带宽百分比 | Percent | ResourceID |
consumption_request_mean_time |
Instance |
消息消费平均耗时 | Millisecond | ResourceID |
consumption_request_p99_time |
Instance |
消息消费 P99 耗时 | Millisecond | ResourceID |
cpu_util |
Instance |
CPU 使用率 | Percent | ResourceID |
disk_util |
Broker |
磁盘使用率 | Percent | ResourceID,Broker |
dsik_skewness |
Instance |
磁盘倾斜率 | Percent | ResourceID |
group_consumption_rate |
Group |
消费组消费速率 | Count | Group,ResourceID |
group_msg_accum |
Group |
消费组消息堆积量 | Count | Group,ResourceID |
group_rebalance_count |
Group |
消费组重均衡次数 | Count | Group,ResourceID |
instance_available_group |
Instance |
剩余可用消费组数 | Count | ResourceID |
instance_available_partition |
Instance |
剩余可用分区数 | Count | ResourceID |
max_disk_util |
Instance |
节点最大磁盘使用率 | Percent | ResourceID |
mem_util |
Instance |
内存使用率 | Percent | ResourceID |
msg_consumption_rate |
Instance |
消息消费速率 | Bytes/Second(SI) | ResourceID |
msg_production_count |
Instance |
消息生产条数 | Count/Second | ResourceID |
msg_production_rate |
Instance |
消息生产速率 | Bytes/Second(SI) | ResourceID |
partition_msg_accum |
Group_Partition |
分区消息堆积量 | Count | Group,Partition,ResourceID,Topic |
produce_request_mean_time |
Broker |
消息生产平均耗时 | Millisecond | ResourceID,Broker |
production_rate_percent |
Instance |
生产带宽百分比 | Percent | ResourceID |
production_request_mean_time |
Instance |
消息生产平均耗时 | Millisecond | ResourceID |
production_request_p99_time |
Instance |
消息生产 P99 耗时 | Millisecond | ResourceID |
req_consumption_count |
Instance |
消息消费次数 | Count/Second | ResourceID |
req_production_count |
Instance |
消息生产次数 | Count/Second | ResourceID |
topic_consumption_rate |
Group_Topic |
Topic 消费速率 | Count | Group,ResourceID,Topic |
topic_data_size |
Topic |
Topic 数据大小 | Bits(IEC) | ResourceID,Topic |
topic_msg_accum |
Group_Topic |
Topic 消息堆积量 | Count | Group,ResourceID,Topic |
对象¶
采集到的火山引擎 VCM Kafka 对象名称 volcengine_kafka 数据结构，可以从「基础设施 - 自定义」里看到对象数据。