跳转至

GCP BigQuery

采集 GCP BigQuery 查询执行、扫描数据量、槽位分配、表存储和数据上传等指标。

配置

安装 Func

推荐开通 观测云 集成 - 扩展 - 托管版 Func:一切前置条件都自动安装好,请继续脚本安装。

如果自行部署 Func,参考自行部署 Func

安装脚本

  1. 登录 Func 控制台,点击【脚本市场】,进入 观测云 脚本市场,搜索 integration_gcp_bigquery
  2. 点击【安装】后,输入相应的参数:账户文件名、Target Principal、账号名。
  3. 点击【部署启动脚本】,系统会自动创建 Startup 脚本集,并自动配置相应的启动脚本。
  4. 开启后可以在「管理 / 自动触发配置」中看到对应的自动触发配置。点击【执行】可立即执行一次,稍等片刻后可查看执行任务记录及日志。

验证

  1. 在「管理 / 自动触发配置」确认对应任务已存在,并通过任务记录及日志检查是否有异常。
  2. 在 观测云「基础设施 / 自定义」中查看是否存在对应资产信息。
  3. 在 观测云「指标」中查看是否存在 gcp_bigquery 指标集及对应监控数据。

指标

GCP BigQuery 指标在 gcp_bigquery 指标集下,原始指标来自 Cloud Monitoring 的 bigquery.googleapis.com/ 命名空间。以下是部分核心指标说明,完整指标类型可参考 Google Cloud BigQuery 指标

指标 原始指标 描述信息 单位
query_count query/count 当前正在运行的查询数 Count
query_execution_count query/execution_count 已执行的查询数 Count
query_execution_times query/execution_times 成功完成查询的执行时间分布 s
query_scanned_bytes query/scanned_bytes 查询扫描的字节数 Bytes
query_scanned_bytes_billed query/scanned_bytes_billed 查询计费的扫描字节数 Bytes
query_statement_scanned_bytes query/statement_scanned_bytes 按语句类型统计的扫描字节数 Bytes
slots_allocated slots/allocated 按预留和作业类型分配的槽位数 Count
slots_allocated_for_project slots/allocated_for_project 项目查询作业使用的槽位数 Count
slots_allocated_for_project_and_job_type slots/allocated_for_project_and_job_type 按项目和作业类型分配的槽位数 Count
slots_capacity_committed slots/capacity_committed 项目承诺的槽位容量 Count
storage_stored_bytes storage/stored_bytes 表中存储的数据量 Bytes
storage_table_count storage/table_count 数据集中的表数量 Count
storage_uploaded_bytes storage/uploaded_bytes 通过批量或流式方式上传的字节数 Bytes
storage_uploaded_bytes_billed storage/uploaded_bytes_billed 上传数据的计费字节数 Bytes
storage_uploaded_row_count storage/uploaded_row_count 上传的行数 Count

文档评价

文档内容是否对您有帮助? ×