计量数据结构与使用

概述¶

当数据被写入特定空间时，观测云将实时监控并统计这些数据的写入量。它按照预设的时间周期，将统计信息记录并存储在数据库中。

通过结合 DQL 查询语句，用户可以轻松构建一个使用量分析仪表板。这个仪表板能够提供直观的数据使用情况分析，帮助用户洞察数据流量趋势，优化资源分配和监控数据使用情况。

数据结构¶

{
    "time": 1720584000000,
    "__docid": "fb4d3b817fdc08a266bfefe85049d279",
    "count": "0",
    "create_time": "1720591166343",
    "date": "1720584000000",
    "hour_count": "0",
    "project": "logging",
    "sub_project": "default",
    "workspaceUUID": "wksp_3c5cc6626cb64550b401347931fcf467"
}

字段说明¶

字段	类型	说明	示例
time	int64	计量项时间，单位为 ms,例如: 1720584000000 等价于 2024-07-10 12:00:00，表示该计量项时间范围为 2024-07-10 12:00:00 ～ 2024-07-10 13:00:00 （左闭右开）	1720584000000
date	int64	同 time
__docid	string	唯一标识一条数据库记录	fb4d3b817fdc08a266bfefe85049d279
workspaceUUID	string	工作空间 ID	wksp_3c5cc6626cb64550b401347931fcf467
project	string	计量项目，具体说明见下文	logging
sub_project	string	计量子项目，具体说明见下文	default
count	int64	全量计量	2345
hour_count	int64	每小时计量数据	1234
create_time	int64	实际写入数据库时间，单位 ms	1720591166343

计量项目(project) 说明¶

注意⚠️: 全量统计方式，使用 count计数，增量统计方式，使用hour_count 计数

统计项	project	sub_project	统计周期	统计方式	说明
datakit数量	datakit		每小时统计一次	全量	具体空间的datakit 使用量
全站点 DataKit 数量	platform_datakit		每小时统计一次	全量	表示整个站点的 datakit 使用量，和具体的工作空间没有关系
拨测次数	synthetic_test_runs		每小时统计一次	增量
RUM PV 数量	rum_pv		每小时执行一次	全量
RUM 数据条数	rum_data_rows		每小时执行一次	增量	Resource、Action、LongTask、Error数量
RUM 原始写入流量	rum_bytes		每小时执行一次	增量
trace 数量	tracing		每小时统计一次	增量
Tracing 原始写入流量	tracing_bytes		每小时执行一次	增量
事件数据条数	keyevent		每小时执行一次	全量
数据转发到客户s3对象存储	data_forwarding_s3_bytes	可选值为 logging/tracing/rum，分别表示对应数据类型的备份信息	每小时执行一次	增量
数据转发到客户消息引擎	data_forwarding_kafka_bytes	可选值为 logging/tracing/rum，分别表示对应数据类型的备份信息	每小时执行一次	增量
数据转发到客户oss对象存储	data_forwarding_oss_bytes	可选值为 logging/tracing/rum，分别表示对应数据类型的备份信息	每小时执行一次	增量
数据转发到客户obs对象存储	data_forwarding_obs_bytes	可选值为 logging/tracing/rum，分别表示对应数据类型的备份信息	每小时执行一次	增量
数据转发到默认存储容量	data_forwarding_default_bytes	可选值为 logging/tracing/rum，分别表示对应数据类型的备份信息	每小时执行一次	全量
数据转发到默认存储容量（增量）	data_forwarding_delta_bytes
安全巡检数据条数	security		每小时执行一次	增量
报告发送次数	report		每5分钟执行一次	增量
基础设施对象数量	object		每小时执行一次	全量
Pipeline 数据处理流量	pipeline_processed_bytes		每小时执行一次	增量
敏感数据扫描流量	sensitive_scan_bytes		每小时执行一次	增量
日志原始写入流量	logging_bytes	可选值为日志多索引的索引名称	每小时执行一次	增量
日志数据条数	logging	可选值为日志多索引的索引名称	每小时执行一次	增量
时间线	timeseries		每小时统计一次	全量
pipeline 流量统计	pipeline_processed_bytes		每小时统计一次	增量
会话重放数量	session_replay		每小时统计一次
Span 条数	tracing_span		每小时统计一次
Profile 数量	profile		每小时统计一次
SIEM 扫描流量	siem_scan_bytes		每小时统计一次
任务调用次数	job_runs		每小时统计一次
短信发送次数	sms		每小时统计一次
网络主机数量	network		每小时统计一次

计量数据查询¶

# 通过 dql 语句，可以查看具体空间一天内的日志写入量

metering::`*`:(sum(hour_count)) {project="logging", workspaceUUID="wksp_xxx"}