AWS Glue
采集 AWS Glue 作业资产及 Spark 作业指标。
配置¶
安装 Func¶
推荐开通 观测云集成 - 扩展 - 托管版 Func: 一切前置条件都自动安装好, 请继续脚本安装
如果自行部署 Func 参考自行部署 Func
开通脚本¶
提示：请提前准备好符合要求的 AWS AK（简单起见，可直接授予全局只读权限
ReadOnlyAccess）
托管版开通脚本¶
- 登陆观测云控制台
- 点击【集成】菜单，选择【云帐号管理】
- 点击【添加云帐号】，选择【AWS】，填写界面所需的信息，如之前已配置过云帐号信息，则忽略此步骤
- 点击【测试】，测试成功后点击【保存】，如果测试失败，请检查相关配置信息是否正确，并重新测试
- 点击【云帐号管理】列表上可以看到已添加的云账号，点击相应的云帐号，进入详情页
- 点击云帐号详情页的【集成】按钮，在
未安装列表下，找到AWS Glue，点击【安装】按钮，弹出安装界面安装即可。
手动开通脚本¶
- 登陆 Func 控制台，点击【脚本市场】，进入观测云脚本市场，搜索
integration_aws_glue - 点击【安装】后，输入相应的参数：AWS AK ID、AK Secret 及账户名
- 点击【部署启动脚本】，系统会自动创建
Startup脚本集，并自动配置相应的启动脚本 - 开启后可以在「管理 / 自动触发配置」里看到对应的自动触发配置。点击【执行】，即可立即执行一次，无需等待定期时间。稍等片刻，可以查看执行任务记录以及对应日志
验证¶
- 在「管理 / 自动触发配置」确认对应的任务是否已存在对应的自动触发配置，同时可以查看对应任务记录及日志检查是否有异常
- 在观测云，「基础设施 / 自定义」中查看是否存在资产信息
- 在观测云，「指标」查看是否有对应监控数据
指标¶
指标集为 aws_glue。
| MetricName | MetricDescribe | Dimensions | Unit |
|---|---|---|---|
glue.ALL.jvm.heap.usage |
全部 executor 的 JVM 堆使用比例 | JobName, JobRunId, Type | 比例（0–1） |
glue.ALL.s3.filesystem.read_bytes |
全部 executor 从 S3 读取字节数 | JobName, JobRunId, Type | B |
glue.ALL.s3.filesystem.write_bytes |
全部 executor 向 S3 写入字节数 | JobName, JobRunId, Type | B |
glue.ALL.system.cpuSystemLoad |
全部 executor 的系统 CPU 负载 | JobName, JobRunId, Type | 比例（0–1） |
glue.driver.aggregate.bytesRead |
driver 汇总的读取字节数 | JobName, JobRunId, Type | B |
glue.driver.aggregate.elapsedTime |
driver 汇总的执行耗时 | JobName, JobRunId, Type | ms |
glue.driver.aggregate.numCompletedStages |
完成的 Spark stage 数量 | JobName, JobRunId, Type | count |
glue.driver.aggregate.numCompletedTasks |
完成的 Spark task 数量 | JobName, JobRunId, Type | count |
glue.driver.aggregate.numFailedTasks |
失败的 Spark task 数量 | JobName, JobRunId, Type | count |
glue.driver.aggregate.numKilledTasks |
被终止的 Spark task 数量 | JobName, JobRunId, Type | count |
glue.driver.aggregate.recordsRead |
读取的数据记录数 | JobName, JobRunId, Type | count |
glue.driver.aggregate.shuffleBytesWritten |
Shuffle 写入字节数 | JobName, JobRunId, Type | B |