GCP Dataflow¶

采集 GCP Dataflow 作业状态、工作器资源、数据积压、吞吐量和流水线处理延迟等指标。

配置¶

安装 Func¶

推荐开通 观测云 集成 - 扩展 - 托管版 Func：一切前置条件都自动安装好，请继续脚本安装。

如果自行部署 Func，参考自行部署 Func。

安装脚本¶

1. 登录 Func 控制台，点击【脚本市场】，进入 观测云 脚本市场，搜索 integration_gcp_dataflow。
2. 点击【安装】后，输入相应的参数：账户文件名、Target Principal、账号名。
3. 点击【部署启动脚本】，系统会自动创建 Startup 脚本集，并自动配置相应的启动脚本。
4. 开启后可以在「管理 / 自动触发配置」中看到对应的自动触发配置。点击【执行】可立即执行一次，稍等片刻后可查看执行任务记录及日志。

验证¶

1. 在「管理 / 自动触发配置」确认对应任务已存在，并通过任务记录及日志检查是否有异常。
2. 在 观测云「基础设施 / 自定义」中查看是否存在对应资产信息。
3. 在 观测云「指标」中查看是否存在 gcp_dataflow 指标集及对应监控数据。

指标¶

GCP Dataflow 指标在 gcp_dataflow 指标集下，原始指标来自 Cloud Monitoring 的 dataflow.googleapis.com/ 命名空间。以下是部分核心指标说明，完整指标类型可参考 Google Cloud Dataflow 指标。