华为云云数据迁移 CDM
采集华为云 CDM 监控指标
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考 自行部署 Func
安装脚本¶
提示：请提前准备好符合要求的华为云 AK（简单起见，可直接授予全局只读权限
ReadOnlyAccess）
-
登陆 Func 控制台，点击【脚本市场】，进入官方脚本市场，搜索
guance_huaweicloud_cdm -
点击【安装】后，输入相应的参数：华为云 AK、SK、及账户名称
-
点击【部署启动脚本】，系统会自动创建
Startup脚本集，并自动配置相应的启动脚本 -
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
- 在观测云，「基础设施 - 资源目录」中查看是否存在资产信息
- 在观测云，「指标」查看是否有对应监控数据
指标¶
采集华为云云数据迁移 CDM 指标, 可以通过配置的方式采集更多的指标 华为云 CDM 指标详情
华为云 CDM 指标在 huaweicloud_SYS.CDM 集下，以下是 CDM 相关指标说明
| 指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 测量对象(维度) | 监控周期（原始指标） |
|---|---|---|---|---|---|---|
bytes_in |
网络流入速率 | 该指标用于统计每秒流入测量对象的网络流量。 | ≥ 0 bytes/s | bytes/s | CDM集群实例 | 1分钟 |
bytes_out |
网络流出速率 | 该指标用于统计每秒流出测量对象的网络流量。 | ≥ 0 bytes/s | bytes/s | CDM集群实例 | 1分钟 |
cpu_usage |
CPU使用率 | 该指标用于统计测量对象的CPU使用率。 | 0%～100% | % | CDM集群实例 | 1分钟 |
mem_usage |
内存使用率 | 该指标用于统计测量对象的内存使用率。 | 0%～100% | % | CDM集群实例 | 1分钟 |
pg_pending_job |
排队作业数 | 该指标用于统计该CDM实例中处于PENDING状态的作业数。 | >=0 | Count | CDM集群实例 | 1分钟 |
pending_threads |
排队抽取并发数 | 该指标用于统计该CDM实例中处于Waiting状态的抽取并发线程数。 | ≥ 0 | Count | CDM集群实例 | 1分钟 |
disk_usage |
磁盘利用率 | 该指标为从物理机层面采集的磁盘使用率，数据准确性低于从弹性云服务器内部采集的数据。 | 0.001%~90% | % | CDM集群实例 | 1分钟 |
disk_io |
磁盘io | 该指标为从物理机层面采集的磁盘每秒读取和写入的字节数，数据准确性低于从弹性云服务器内部采集的数据。 | ≥ 0 byte/s | byte/s | CDM集群实例 | 1分钟 |
tomcat_heap_usage |
堆内存使用率 | 该指标为从物理机层面采集的堆内存使用率，数据准确性低于从弹性云服务器内部采集的数据。 | 0.001%~90% | % | CDM集群实例 | 1分钟 |
tomcat_connect |
tomcat并发连接数 | 该指标为从物理机层面采集的tomcat并发连接数。 | 0~2147483647 | Count | CDM集群实例 | 1分钟 |
tomcat_thread_count |
tomcat线程 | 该指标为从物理机层面采集的tomcat所占线程数。 | 0~2147483647 | Count | CDM集群实例 | 1分钟 |
pg_connect |
数据库连接数 | 该指标为从物理机层面采集的postgres数据库连接数。 | 0~2147483647 | Count | CDM集群实例 | 1分钟 |
pg_submission_row |
历史记录表行数 | 该指标为从物理机层面采集的postgres数据库submission表行数。 | 0~2147483647 | Count | CDM集群实例 | 1分钟 |
pg_failed_job_rate |
失败作业率 | 该指标为从物理机层面sqoop进程采集的失败作业率。 | 0.001%~100% | % | CDM集群实例 | 1分钟 |
inodes_usage |
Inodes利用率 | 该指标为从物理机层面采集的磁盘inodes使用率，数据准确性低于从弹性云服务器内部采集的数据。 | 0.001%~100% | % | CDM集群实例 | 1分钟 |
对象¶
数据正常同步后，可以在观测云的「基础设施 - 资源目录」中查看数据。
{
"measurement": "huaweicloud_cdm",
"tags": {
"RegionId" : "cn-south-4",
"project_id" : "756ada1aa17e4049b2a16ea41912e52d",
"enterprise_project_id" : "0824ss-xxxx-xxxx-xxxx-12334fedffg",
"cluster_id" : "xxxxxx",
"cluster_name" : "test",
"instance_name" : "test-xxxx",
"instance_id" : "xxxxxxxxxx",
"status" : "AVAILABLE"
},
"fields": {
"azName" : "xszxxxxxx",
"dbuser" : "root",
"flavorName" : "xxxx",
"clusterMode" : "xxxxx",
"publicEndpoint" : "cn-south-4a",
"statusDetail" : "cdmk2-xxx-xxx",
"create_time" : "2024-11-11T08:15:58Z",
"update_time" : "2024-11-11T08:15:58Z",
"recentEvent" : "xxxxx",
"datastore" : "xxx",
"isAutoOff" : "xxx",
"task" : "xxx",
"actionProgress" : "xxx"
}
}
注意：
tags、fields中的字段可能会随后续更新有所变动