AWS MWAA
采集 AWS Managed Workflows for Apache Airflow 指标数据
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
安装脚本¶
提示:请提前准备好符合要求的亚马逊 AK(简单起见,可直接授予全局只读权限
ReadOnlyAccess
)
-
登陆Func 控制台,点击【脚本市场】,进入观测云脚本市场,搜索:
integration_aws_mwaa
-
点击【安装】后,输入相应的参数:AWS AK ID 、AK Secret 及账户名。
-
点击【部署启动脚本】,系统会自动创建
Startup
脚本集,并自动配置相应的启动脚本。 -
开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】,即可立即执行一次,无需等待定期时间。稍等片刻,可以查看执行任务记录以及对应日志。
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置,同时可以查看对应任务记录及日志检查是否有异常
- 在观测云,「基础设施 - 资源目录」中查看是否存在资产信息
- 在观测云,「指标」查看是否有对应监控数据
指标¶
配置亚马逊-云监控,可以通过配置的方式采集更多的指标 亚马逊云监控指标详情
AWS MWAA 指标在 aws_AWS/MWAA
指标集下,描述列包括每个指标的描述以及单位和统计数据。
集群指标¶
指标 | 描述 | 单位 |
---|---|---|
CPUUtilization |
CPU 使用率 | % |
MemoryUtilization |
Memory 使用率 | % |
数据库指标¶
指标 | 描述 | 单位 |
---|---|---|
CPUUtilization |
CPU 使用率 | % |
DatabaseConnections |
Database 连接数 | Count |
DiskQueueDepth |
Disk 队列深度 | Count |
FreeableMemory |
可用内存量 | Byte |
VolumeWriteIOPS |
卷的写入 IOPS | Count/s |
WriteIOPS |
写入 IOPS | Count/s |
WriteLatency |
写入延迟 | s |
WriteThroughput |
写入吞吐量 | Bytes/s |
队列指标¶
指标 | 描述 | 单位 |
---|---|---|
ApproximateAgeOfOldestTask |
最老的消息进入队列时间 | s |
RunningTasks |
正在运行的任务数 | Count |
QueuedTasks |
排队等待运行的任务数量 | Count |
对象¶
采集到的 AWS MWAA 对象数据结构, 可以在「基础设施 - 资源目录」里查看
{
"measurement": "aws_mwaa",
"tags": {
"EnvironmentName" : "MyAirflowEnvironment",
"RegionId" : "ap-southeast-1"
},
"fields": {
"Arn" : "arn:aws:airflow:ap-southeast-1:876267738534:environment/MyAirflowEnvironment",
"WebserverUrl" : "cbf8bc48-413d-4f10-8771-80a6627fdfd1.c3.ap-southeast-1.airflow.amazonaws.com",
"DagS3Path" : "test/",
"PluginsS3Path" : "xxxxxx",
"AirflowVersion" : "2.10.3",
"Status" : "AVAILABLE",
"CreatedAt" : "2025-08-11T17:02:23+08:00",
"EnvironmentClass" : "mw1.micro",
"MaxWorkers" : "1",
"WebserverAccessMode" : "PUBLIC_ONLY"
}
}
注意:
tags
、fields
中的字段可能会随后续更新有所变动