AWS MWAA
采集 AWS MWAA 环境资产和 Apache Airflow 运行指标。
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
开通脚本¶
提示:请提前准备好符合要求的 AWS AK(简单起见,可直接授予全局只读权限
ReadOnlyAccess)
托管版开通脚本¶
- 登陆观测云控制台
- 点击【集成】菜单,选择【云帐号管理】
- 点击【添加云帐号】,选择【AWS】,填写界面所需的信息,如之前已配置过云帐号信息,则忽略此步骤
- 点击【测试】,测试成功后点击【保存】,如果测试失败,请检查相关配置信息是否正确,并重新测试
- 点击【云帐号管理】列表上可以看到已添加的云账号,点击相应的云帐号,进入详情页
- 点击云帐号详情页的【集成】按钮,在
未安装列表下,找到AWS MWAA,点击【安装】按钮,弹出安装界面安装即可。
手动开通脚本¶
- 登陆 Func 控制台,点击【脚本市场】,进入观测云脚本市场,搜索
integration_aws_mwaa - 点击【安装】后,输入相应的参数:AWS AK ID、AK Secret 及账户名
- 点击【部署启动脚本】,系统会自动创建
Startup脚本集,并自动配置相应的启动脚本 - 开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】,即可立即执行一次,无需等待定期时间。稍等片刻,可以查看执行任务记录以及对应日志
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置,同时可以查看对应任务记录及日志检查是否有异常
- 在观测云,「基础设施 / 自定义」中查看是否存在资产信息
- 在观测云,「指标」查看是否有对应监控数据
指标¶
指标集为 aws_amazon_mwaa。
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
dagduration_failed_average |
失败 DAG 运行耗时 | environment, dag | ms |
dagduration_success_average |
成功 DAG 运行耗时 | environment, dag | ms |
dagfile_processing_last_duration_average |
最近一次 DAG 文件处理耗时 | environment, dag_filename | s |
dagschedule_delay_average |
DAG 调度延迟 | environment, dag | ms |
import_errors_average |
DAG 导入错误数量 | environment, function | count |
job_end_sum |
Airflow job 结束次数 | environment, job | count |
job_start_sum |
Airflow job 启动次数 | environment, job | count |
open_slots_average |
执行器空闲槽位数 | environment, function | count |
operator_failures_sum |
operator 失败次数 | environment, operator | count |
pool_open_slots_average |
pool 空闲槽位数 | environment, pool | count |
pool_running_slots_average |
pool 运行槽位数 | environment, pool | count |
queued_tasks_average |
排队任务数 | environment, function | count |
running_tasks_average |
运行任务数 | environment, function | count |
scheduler_heartbeat_sum |
调度器心跳次数 | environment, function | count |
task_instance_failures_sum |
任务实例失败次数 | environment, dag, task | count |
task_instance_successes_sum |
任务实例成功次数 | environment, dag, task | count |
tasks_executable_average |
可执行任务数 | environment, function | count |
tasks_starving_average |
因资源不足等待的任务数 | environment, function | count |
total_parse_time_average |
解析全部 DAG 的耗时 | environment, function | s |