黑名单¶
观测云支持通过设置黑名单的方式过滤掉符合条件的不同类型的数据,即配置黑名单以后,符合条件的数据不再上报到观测云工作空间,帮助您节约数据存储费用。
前提条件¶
- 安装 DataKit;
- 除日志以外的其他数据,DataKit 版本要求 >= 1.4.7。
新建黑名单¶
1、在观测云工作空间,点击管理 > 黑名单 > 新建黑名单。
注意:若只需要为日志数据创建黑名单,还可前往日志 > 黑名单。
2、在数据来源,选择数据类型,并在过滤添加一条或多条过滤规则,点击确定即可开启数据黑名单过滤规则。
数据来源:黑名单名称根据数据来源自动生成,包含日志、基础对象、自定义对象、网络、应用性能监测、用户访问监测、安全巡检、事件、指标、Profile。
输入字段名称、字段值等信息后,后续通过 DataKit 配置数据来源和字段并上报数据后即可生效。
数据类型 | 数据来源(支持自定义预设) |
---|---|
日志 | 日志来源(source),如 nginx 等 |
基础对象 | 类别(class),如 HOST 等 |
自定义对象 | 类别(class),如 MySQL 等 |
网络 | 来源(source),如 netflow ,httpflow |
应用性能监测 | 服务(service),如 redis 等,支持选择“全部服务” |
用户访问监测 | 应用(app_id) |
安全巡检 | 类别(category),如 system 等 |
事件 | 来源(source),如 monitor 等 |
指标 | 指标集,如 cpu 等 |
Profile | 服务(service) |
过滤:支持两种条件选择,“任意”和“所有”。“任意”为 “或(OR)”条件,“所有”为“且(AND)”条件。
-
字段名:支持手动输入字段名,必须是精准值,可以在查看器“显示列”查看需要匹配的字段名。
-
字段值:支持手动输入字段值,支持输入单值、多值,支持正则语法。
-
操作符:支持
in / not in / match / not match
4 种模式,in / not in
为精准匹配,match / not match
为正则匹配。
操作符 | 支持数值类型 | 说明 | 示例 |
---|---|---|---|
in / not in |
数值列表 | 指定的字段是否在列表中,列表中支持多类型混杂 | 1,2,"foo",3.5 |
match / not match |
正则表达式列表 | 指定的字段是否匹配列表中的正则,该列表只支持字符串类型 | "foo.*","bar.*" |
注意:
- 数据类型支持字符串、整数、浮点三种类型;
- 若选择的数据来源是日志,则在功能菜单日志 > 黑名单下同步创建一条日志过滤规则,反之亦然。
示例¶
以下示例中,新建黑名单,选择全部来源的日志,满足 status
为 ok 或 info
,且 host
不为 hz-dataflux-saas-daily-01
,且 service
中不包含 kodo
字样,即同时满足这三个匹配规则的数据将被过滤,不再上报工作空间。
设置黑名单以后,可以在查看器根据过滤条件来检查黑名单是否生效。在黑名单创建生效后,即符合过滤条件的数据将不再上报到工作空间。
列表操作¶
注意事项¶
若在安装配置 DataKit 时,在 datakit.conf
文件中配置了黑名单过滤,则观测云中配置的黑名单规则不会对其生效;
DataKit 每 10 秒会拉取一次数据,黑名单配置后不会立即生效,需要等待至少 10 秒时间;
黑名单配置完成后,统一保存在 DataKit 的目录 /usr/local/datakit/data
下的 .pull
文件中,更多详情,可参考 查看黑名单。