跳转至

AWS MWAA

采集 AWS Managed Workflows for Apache Airflow 指标数据

配置

安装 Func

推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装

如果自行部署 Func 参考自行部署 Func

安装脚本

提示:请提前准备好符合要求的亚马逊 AK(简单起见,可直接授予全局只读权限ReadOnlyAccess

  1. 登陆Func 控制台,点击【脚本市场】,进入观测云脚本市场,搜索:integration_aws_mwaa

  2. 点击【安装】后,输入相应的参数:AWS AK ID 、AK Secret 及账户名。

  3. 点击【部署启动脚本】,系统会自动创建 Startup 脚本集,并自动配置相应的启动脚本。

  4. 开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】,即可立即执行一次,无需等待定期时间。稍等片刻,可以查看执行任务记录以及对应日志。

验证

  1. 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置,同时可以查看对应任务记录及日志检查是否有异常
  2. 在观测云,「基础设施 - 资源目录」中查看是否存在资产信息
  3. 在观测云,「指标」查看是否有对应监控数据

指标

配置亚马逊-云监控,可以通过配置的方式采集更多的指标 亚马逊云监控指标详情

AWS MWAA 指标在 aws_AWS/MWAA 指标集下,描述列包括每个指标的描述以及单位和统计数据。

集群指标

指标 描述 单位
CPUUtilization CPU 使用率 %
MemoryUtilization Memory 使用率 %

数据库指标

指标 描述 单位
CPUUtilization CPU 使用率 %
DatabaseConnections Database 连接数 Count
DiskQueueDepth Disk 队列深度 Count
FreeableMemory 可用内存量 Byte
VolumeWriteIOPS 卷的写入 IOPS Count/s
WriteIOPS 写入 IOPS Count/s
WriteLatency 写入延迟 s
WriteThroughput 写入吞吐量 Bytes/s

队列指标

指标 描述 单位
ApproximateAgeOfOldestTask 最老的消息进入队列时间 s
RunningTasks 正在运行的任务数 Count
QueuedTasks 排队等待运行的任务数量 Count

对象

采集到的 AWS MWAA 对象数据结构, 可以在「基础设施 - 资源目录」里查看

{
  "measurement": "aws_mwaa",
  "tags": {
    "EnvironmentName"                 : "MyAirflowEnvironment",
    "RegionId"                        : "ap-southeast-1"
  },
  "fields": {
    "Arn"                         : "arn:aws:airflow:ap-southeast-1:876267738534:environment/MyAirflowEnvironment",
    "WebserverUrl"                : "cbf8bc48-413d-4f10-8771-80a6627fdfd1.c3.ap-southeast-1.airflow.amazonaws.com",
    "DagS3Path"                   : "test/",
    "PluginsS3Path"               : "xxxxxx",
    "AirflowVersion"              : "2.10.3",
    "Status"                      : "AVAILABLE",
    "CreatedAt"                   : "2025-08-11T17:02:23+08:00",
    "EnvironmentClass"            : "mw1.micro",
    "MaxWorkers"                  : "1",
    "WebserverAccessMode"         : "PUBLIC_ONLY"
  }
}

注意:tagsfields中的字段可能会随后续更新有所变动

文档评价

文档内容是否对您有帮助? ×