阈值检测¶
用于监控指标、日志、基础设施、资源目录、事件、应用性能、用户访问等数据的异常情况。规则内可设定阈值,超出阈值时系统触发告警并通知相关人员。同时支持多指标检测,并可为每个指标配置不同告警级别。例如,监控主机内存使用率是否异常偏高。
检测配置¶
检测频率¶
即检测规则的执行频率;默认选中 5 分钟。
除选定系统提供的以上特定选项,您还可以输入自定义 crontab 任务,基于秒、分钟、小时、天、月、周等周期配置定时任务执行情况。
在选用自定义 Crontab 检测频率情况下,检测区间分别包含最近 1 分钟、最近 5 分钟、最近 15 分钟、最近 30 分钟、最近 1 小时、最近 6 小时、最近 12 小时、最近 24 小时。
检测区间¶
即检测指标查询的时间范围。受检测频率影响,可选检测区间会有不同。
检测频率 | 检测区间(下拉可选项) |
---|---|
30s | 1m/5m/15m/30m/1h/3h |
1m | 1m/5m/15m/30m/1h/3h |
5m | 5m/15m/30m/1h/3h |
15m | 15m/30m/1h/3h/6h |
30m | 30m/1h/3h/6h |
1h | 1h/3h/6h/12h/24h |
6h | 6h/12h/24h |
12h | 12h/24h |
24h | 24h |
检测指标¶
-
数据类型:当前检测的数据类型,包括指标、日志、基础设施、资源目录、事件、应用性能监测、用户访问监测和网络等数据类型。
-
聚合算法:提供多种聚合算法,包括:
- Avg by(取平均值)
- Min by(取最小值)
- Max by(取最大值)
- Sum by(求和)
- Last(取最后一个值)
- First by(取第一个值)
- Count by(取数据点数)
- Count_distinct by(取非重复的数据点数)
- p50 (取中位数值)
- p75(取处于 75% 位置的值)
- p90(取处于 90% 位置的值)
- p99 (取处于 99% 位置的值)
-
检测维度:可选择配置数据中对应的字符串类型(
keyword
)字段作为检测维度,最多支持三个字段。通过组合多个检测维度字段,可确定具体的检测对象。系统会判断该对象的统计指标是否满足触发条件若,满足则生成事件。- 例如,选择检测维度
host
与host_ip
,检测对象可表示为 {host: host1, host_ip: 127.0.0.1}。当检测对象为“日志”,默认使用status
,host
,service
,source
和filename
作为检测维度。
- 例如,选择检测维度
-
筛选条件:基于指标的标签对检测数据进行筛选,限定检测范围。支持添加一个或多个标签筛选条件,非指标类数据支持模糊匹配和模糊不匹配的筛选。
-
别名:自定义检测指标名称。
-
查询方式:支持简单查询、表达式查询、PromQL 查询和数据源查询。
跨空间查询指标¶
授权后,可选择当前账号下其他工作空间的检测指标。后续监控器规则创建成功后,即可实现跨工作空间的告警配置。
注意
选择其他工作空间后,检测指标下拉选项仅展示当前工作空间已被授权的数据类型。
触发条件¶
设置告警级别的触发条件:您可任意配置紧急、重要、警告、正常的其中一种触发条件。
配置触发条件及严重程度,当查询结果为多个值时,任一值满足触发条件则产生事件。
更多详情,可参考 事件等级说明。
若开启连续触发判断,可配置连续多次判断触发条件生效后,再次触发生成事件。最大上限 10 次。
告警级别¶
-
告警级别紧急(红色)、重要(橙色)、警告(黄色):基于配置条件判断运算符。
更多运算符详情,可参考 运算符说明;
关于
likeTrue
和likeFalse
真值表详情,可参考 真值表说明。 -
告警级别正常(绿色):基于配置检测次数,说明如下:
- 每执行一次检测任务即为 1 次检测,如
检测频率 = 5 分钟
,则 1 次检测 = 5 分钟; - 可以自定义检测次数,如
检测频率 = 5 分钟
,则 3 次检测 = 15 分钟。
级别 描述 正常 检测规则生效后,产生紧急、重要、警告异常事件后,在配置的自定义检测次数内,数据检测结果恢复正常,则产生恢复告警事件。
恢复告警事件不受告警沉默限制。若未设置恢复告警事件检测次数,则告警事件不会恢复,且一直会出现在事件 > 未恢复事件列表中。
- 每执行一次检测任务即为 1 次检测,如
恢复条件¶
启用配置恢复条件后,可为当前查看器设置恢复条件及严重程度。当查询结果为多个值时,任意一个值满足触发条件,即产生恢复事件。
告警级别从低到高变化时,发送对应级别的告警事件;恢复正常时,发送正常恢复事件。
注意
- 仅触发条件选择条件全部为 >、 >=、<、 <= 时,此处才会显示恢复条件;
- 对应级别的恢复阈值必须小于触发阈值(如紧急恢复阈值 < 紧急触发阈值)。
恢复告警逻辑¶
启用“恢复条件”后,系统会使用 Fault ID(故障 ID)作为唯一标识来管理告警的整个生命周期(包括创建 Issue 等操作)。
当同时开启分级恢复功能时:
-
平台会为每个告警级别(如
critical
,warning
)单独配置一套恢复规则(即恢复阈值) -
每个级别的告警状态和恢复状态独立计算
-
不会影响原有 Fault ID 标识的告警生命周期
因此,当监控器首次触发告警(即开启一个新的告警生命周期)时,系统同时产生两条告警消息。它们看似相同,是因为:
-
第一条告警来源:整体检测(
check
),代表整个故障生命周期的开始(基于原始规则); -
第二条告警来源:分级检测(
critical
/error
/warning
/…),代表开启的分级恢复功能已启动,用于呈现具体告警级别及其后续恢复状态(如critical_ok
)。
上述中,df_monitor_checker_sub
字段是区分两类告警的核心依据:
check
:表示整体检测的结果;- 其他值(如
critical
、error
、warning
等):对应分级检测规则的结果。
因此,当告警首次触发时,会出现两条记录,内容相似,但来源和用途不同。
df_monitor_checker_sub |
T+0 | T+1 | T+2 | T+3 |
---|---|---|---|---|
check |
check |
error |
warning |
ok |
critical |
critical |
critical_ok |
||
error |
error |
error_ok |
||
warning |
warning |
warning_ok |
数据断档¶
针对数据断档状态,可配置七种策略。
-
联动检测区间时间范围,判断检测指标最近分钟数的查询结果,不触发事件;
-
联动检测区间时间范围,判断检测指标最近分钟数的查询结果,查询结果视为 0;此时查询结果将重新与上方触发条件中配置的阈值做比较,从而判断是否触发异常事件。
-
自定义填充检测区间值,触发数据断档事件、触发紧急事件、触发重要事件、触发警告事件及触发恢复事件;选择该类配置策略,自定义数据断档时间配置建议 >= 检测区间时间间隔,若配置时间 <= 检测区间时间间隔,可能存在同时满足数据断档和异常情况,此情况下仅会应用数据断档处理结果。
信息生成¶
开启此选项后,将未匹配到以上触发条件的检测结果生成“信息”事件写入。
注意
若同时配置触发条件、数据断档、信息生成时,按照如下优先级判断触发:数据断档 > 触发条件 > 信息事件生成。
其他配置¶
更多详情,可参考 规则配置。