阿里云 KafKa¶
阿里云 KafKa
包括实例磁盘使用率、实例何topic 消息生产量、消息生产次数、消息消费量、消息消费次数等,这些指标反映了 Kafka 在处理大规模消息传递和实时数据流时的可靠性保证。
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func
如果自行部署 Func 参考自行部署 Func
开通脚本¶
提示:请提前准备好符合要求的阿里云 AK(简单起见,可直接授予全局只读权限
ReadOnlyAccess
)
托管版开通脚本¶
- 登陆观测云控制台
- 点击【集成】菜单,选择【云帐号管理】
- 点击【添加云帐号】,选择【阿里云】,填写界面所需的信息,如之前已配置过云帐号信息,则忽略此步骤
- 点击【测试】,测试成功后点击【保存】,如果测试失败,请检查相关配置信息是否正确,并重新测试
- 点击【云帐号管理】列表上可以看到已添加的云账号,点击相应的云帐号,进入详情页
- 点击云帐号详情页的【集成】按钮,在
未安装
列表下,找到阿里云 KafKa
,点击【安装】按钮,弹出安装界面安装即可。
手动开通脚本¶
-
登陆Func 控制台,点击【脚本市场】,进入官方脚本市场,搜索:
guance_aliyun_alikafka
-
点击【安装】后,输入相应的参数:阿里云 AK ID 、AK Secret 及账户名。
-
点击【部署启动脚本】,系统会自动创建
Startup
脚本集,并自动配置相应的启动脚本。 -
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】,即可立即执行一次,无需等待定期时间。稍等片刻,可以查看执行任务记录以及对应日志。
我们默认采集了一些配置, 具体见指标一栏
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置,同时可以查看对应任务记录及日志检查是否有异常
- 在观测云,「基础设施 / 自定义」中查看是否存在资产信息
- 在观测云,「指标」查看是否有对应监控数据
指标¶
配置好阿里云-云监控,默认的指标集如下, 可以通过配置的方式采集更多的指标 阿里云云监控指标详情
Metric Id | Metric Name | Dimensions | Statistics | Unit |
---|---|---|---|---|
instance_disk_capacity_Maximum | V2实例磁盘使用率 | userId,instanceId | Maximum | % |
instance_message_input | 实例消息生产量 | userId,instanceId | Value | bytes/s |
instance_message_num_input | 实例消息生产条数 | userId,instanceId | Value | countSecond |
instance_message_output | 实例消息消费量 | userId,instanceId | Value | bytes/s |
instance_reqs_input | 实例消息发送次数 | userId,instanceId | Value | countSecond |
instance_reqs_output | 实例消息消费次数 | userId,instanceId | Value | countSecond |
topic_message_input | topic消息生产量 | userId,instanceId | Value | bytes/s |
topic_message_num_input | topic消息生产条数 | userId,instanceId | Value | countSecond |
topic_message_output | topic消息消费量 | userId,instanceId | Value | bytes/s |
topic_reqs_input | topic消息发送次数 | userId,instanceId | Value | countSecond |
topic_reqs_output | topic消息消费次数 | userId,instanceId | Value | countSecond |
对象¶
采集到的阿里云 KafKa 的对象数据结构, 可以从「基础设施-自定义」里看到对象数据
{
"measurement": "aliyun_kafka",
"tags": {
"InstanceId" : "alikafka_post-cn-zsk3cluq100d",
"InstanceName" : "alikafka_post-cn-zsk3cluq100d",
"RegionId" : "cn-hangzhou",
"ResourceGroupId" : "rg-acfmv3ro3xnfwaa",
"SpecType" : "normal",
"cloud_provider" : "aliyun",
"name" : "alikafka_post-cn-zsk3cluq100d"
},
"fields": {
"AllConfig" : "{}",
"CreateTime" : 1692080715000,
"DeployType" : 5,
"EipMax" : 0,
"ExpiredTime" : 2007699914000,
"IoMax" : 20,
"IoMaxSpec" : "alikafka.hw.2xlarge",
"PaidType" : 1,
"ServiceStatus" : 0,
"TopicNumLimit" : 1000,
"UsedGroupCount" : 0,
"UsedTopicCount" : 0,
}
}