GCP BigQuery¶
采集 GCP BigQuery 查询执行、扫描数据量、槽位分配、表存储和数据上传等指标。
配置¶
安装 Func¶
推荐开通 观测云 集成 - 扩展 - 托管版 Func:一切前置条件都自动安装好,请继续脚本安装。
如果自行部署 Func,参考自行部署 Func。
安装脚本¶
- 登录 Func 控制台,点击【脚本市场】,进入 观测云 脚本市场,搜索
integration_gcp_bigquery。 - 点击【安装】后,输入相应的参数:账户文件名、Target Principal、账号名。
- 点击【部署启动脚本】,系统会自动创建
Startup脚本集,并自动配置相应的启动脚本。 - 开启后可以在「管理 / 自动触发配置」中看到对应的自动触发配置。点击【执行】可立即执行一次,稍等片刻后可查看执行任务记录及日志。
验证¶
- 在「管理 / 自动触发配置」确认对应任务已存在,并通过任务记录及日志检查是否有异常。
- 在 观测云「基础设施 / 自定义」中查看是否存在对应资产信息。
- 在 观测云「指标」中查看是否存在
gcp_bigquery指标集及对应监控数据。
指标¶
GCP BigQuery 指标在 gcp_bigquery 指标集下,原始指标来自 Cloud Monitoring 的 bigquery.googleapis.com/ 命名空间。以下是部分核心指标说明,完整指标类型可参考 Google Cloud BigQuery 指标。
| 指标 | 原始指标 | 描述信息 | 单位 |
|---|---|---|---|
| query_count | query/count |
当前正在运行的查询数 | Count |
| query_execution_count | query/execution_count |
已执行的查询数 | Count |
| query_execution_times | query/execution_times |
成功完成查询的执行时间分布 | s |
| query_scanned_bytes | query/scanned_bytes |
查询扫描的字节数 | Bytes |
| query_scanned_bytes_billed | query/scanned_bytes_billed |
查询计费的扫描字节数 | Bytes |
| query_statement_scanned_bytes | query/statement_scanned_bytes |
按语句类型统计的扫描字节数 | Bytes |
| slots_allocated | slots/allocated |
按预留和作业类型分配的槽位数 | Count |
| slots_allocated_for_project | slots/allocated_for_project |
项目查询作业使用的槽位数 | Count |
| slots_allocated_for_project_and_job_type | slots/allocated_for_project_and_job_type |
按项目和作业类型分配的槽位数 | Count |
| slots_capacity_committed | slots/capacity_committed |
项目承诺的槽位容量 | Count |
| storage_stored_bytes | storage/stored_bytes |
表中存储的数据量 | Bytes |
| storage_table_count | storage/table_count |
数据集中的表数量 | Count |
| storage_uploaded_bytes | storage/uploaded_bytes |
通过批量或流式方式上传的字节数 | Bytes |
| storage_uploaded_bytes_billed | storage/uploaded_bytes_billed |
上传数据的计费字节数 | Bytes |
| storage_uploaded_row_count | storage/uploaded_row_count |
上传的行数 | Count |