AWS EMR Serverless
采集 AWS EMR Serverless 监控数据。
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
开通脚本¶
提示:请提前准备好符合要求的 AWS AK(简单起见,可直接授予全局只读权限
ReadOnlyAccess)
托管版开通脚本¶
- 登陆观测云控制台
- 点击【集成】菜单,选择【云帐号管理】
- 点击【添加云帐号】,选择【AWS】,填写界面所需的信息,如之前已配置过云帐号信息,则忽略此步骤
- 点击【测试】,测试成功后点击【保存】,如果测试失败,请检查相关配置信息是否正确,并重新测试
- 点击【云帐号管理】列表上可以看到已添加的云账号,点击相应的云帐号,进入详情页
- 点击云帐号详情页的【集成】按钮,在
未安装列表下,找到AWS EMR Serverless,点击【安装】按钮,弹出安装界面安装即可。
手动开通脚本¶
- 登陆 Func 控制台,点击【脚本市场】,进入观测云脚本市场,搜索
integration_aws_emr_serverless - 点击【安装】后,输入相应的参数:AWS AK ID、AK Secret 及账户名
- 点击【部署启动脚本】,系统会自动创建
Startup脚本集,并自动配置相应的启动脚本;将regions设为实际地域,并将cloudwatch_configs.targets中的metrics设为需要采集的 AWS 原生指标名,完成后再发布并启用自动触发 - 开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】,即可立即执行一次,无需等待定期时间。稍等片刻,可以查看执行任务记录以及对应日志
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置,同时可以查看对应任务记录及日志检查是否有异常
- 在观测云,「基础设施 / 自定义」中查看是否存在资产信息
- 在观测云,「指标」查看是否有对应监控数据
指标¶
配置好 AWS 云监控后,默认的指标集如下,可以通过配置的方式采集更多指标。AWS EMR Serverless 指标详情。
指标集为 aws_emrserverless。
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
max_cpuallowed_maximum |
应用允许的最大 vCPU 数量 | region_id, application_id, application_name | vCPU |
max_memory_allowed_maximum |
应用允许的最大内存容量 | region_id, application_id, application_name | GB |
max_storage_allowed_maximum |
应用允许的最大存储容量 | region_id, application_id, application_name | GB |
cpuallocated_average |
应用已分配的 vCPU 数量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
idle_worker_count_average |
应用空闲的 Worker 数量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
memory_allocated_average |
应用已分配的内存容量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | GB |
pending_creation_worker_count_average |
应用等待创建的 Worker 数量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
running_worker_count_average |
应用正在使用的 Worker 数量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
storage_allocated_average |
应用已分配的磁盘存储容量 | region_id, application_id, application_name, worker_type, capacity_allocation_type | GB |
total_worker_count_average |
应用可用的 Worker 总数 | region_id, application_id, application_name, worker_type, capacity_allocation_type | count |
submitted_jobs_average |
处于 Submitted 状态的作业数量 | region_id, application_id, application_name | count |
pending_jobs_average |
处于 Pending 状态的作业数量 | region_id, application_id, application_name | count |
scheduled_jobs_average |
处于 Scheduled 状态的作业数量 | region_id, application_id, application_name | count |
running_jobs_average |
处于 Running 状态的作业数量 | region_id, application_id, application_name | count |
success_jobs_average |
处于 Success 状态的作业数量 | region_id, application_id, application_name | count |
failed_jobs_average |
处于 Failed 状态的作业数量 | region_id, application_id, application_name | count |
cancelling_jobs_average |
处于 Cancelling 状态的作业数量 | region_id, application_id, application_name | count |
cancelled_jobs_average |
处于 Cancelled 状态的作业数量 | region_id, application_id, application_name | count |
worker_cpu_allocated_sum |
作业中 Worker 已分配的 vCPU 总数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
worker_cpu_used_sum |
作业中 Worker 已使用的 vCPU 总数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | vCPU |
worker_memory_allocated_sum |
作业中 Worker 已分配的内存总量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_memory_used_sum |
作业中 Worker 已使用的内存总量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_ephemeral_storage_allocated_sum |
作业中 Worker 已分配的临时存储容量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_ephemeral_storage_used_sum |
作业中 Worker 已使用的临时存储容量 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | GB |
worker_storage_read_bytes_sum |
作业中 Worker 从存储读取的字节数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | B |
worker_storage_write_bytes_sum |
作业中 Worker 向存储写入的字节数 | region_id, job_id, job_name, application_id, application_name, worker_type, capacity_allocation_type | B |
failed_sessions_average |
处于 Failed 状态的会话数量 | region_id, application_name, application_id | - |
started_sessions_average |
处于 Started 状态的会话数量 | region_id, application_name, application_id | - |
starting_sessions_average |
处于 Starting 状态的会话数量 | region_id, application_name, application_id | - |
submitted_sessions_average |
处于 Submitted 状态的会话数量 | region_id, application_name, application_id | - |
terminated_sessions_average |
处于 Terminated 状态的会话数量 | region_id, application_name, application_id | - |
terminating_sessions_average |
处于 Terminating 状态的会话数量 | region_id, application_name, application_id | - |