跳转至

黑名单


观测云支持通过设置黑名单的方式过滤掉符合条件的不同类型的数据,即配置黑名单以后,符合条件的数据不再上报到观测云工作空间,帮助您节约数据存储费用。

前提条件

  • 安装 DataKit
  • 如需配置除日志以外的其他数据,DataKit 版本要求高于1.4.7。

新建黑名单

1、在观测云工作空间,点击管理 > 黑名单 > 新建黑名单

注意:若只需要为日志数据创建黑名单,还可前往日志 > 黑名单

2、在数据来源,选择数据类型,并在过滤添加一条或多条过滤规则,点击确定即可开启数据黑名单过滤规则。

数据来源:黑名单名称根据数据来源自动生成,包含日志、基础对象、自定义对象、网络、应用性能监测、用户访问监测、安全巡检、事件、指标、Profile。

输入字段名称、字段值等信息后,后续通过 DataKit 配置数据来源和字段并上报数据后即可生效。

数据类型 数据来源(支持自定义预设)
日志 日志来源(source),如 nginx 等
基础对象 类别(class),如 HOST 等
自定义对象 类别(class),如 MySQL 等
网络 来源(source),如 netflow ,httpflow
应用性能监测 服务(service),如 redis 等,支持选择“全部服务”
用户访问监测 应用(app_id)
安全巡检 类别(category),如 system 等
事件 来源(source),如 monitor 等
指标 指标集,如 cpu 等
Profile 服务(service)

过滤:支持两种条件选择,“任意”和“所有”。“任意”为 “或(OR)”条件,“所有”为“且(AND)”条件。

  • 字段名:支持手动输入字段名,必须是精准值,可以在查看器“显示列”查看需要匹配的字段名。

  • 字段值:支持手动输入字段值,支持输入单值、多值,支持正则语法。

  • 操作符:支持 in / not in / match / not match 4 种模式,in / not in 为精准匹配,match / not match 为正则匹配。

操作符 支持数值类型 说明 示例
in / not in 数值列表 指定的字段是否在列表中,列表中支持多类型混杂 1,2,"foo",3.5
match / not match 正则表达式列表 指定的字段是否匹配列表中的正则,该列表只支持字符串类型 "foo.*","bar.*"

注意

  • 数据类型支持字符串、整数、浮点三种类型;
  • 若选择的数据来源日志,则在功能菜单日志 > 黑名单下同步创建一条日志过滤规则,反之亦然。

示例

以下示例中,新建黑名单,选择全部来源的日志,满足 statusok 或 info,且 host 不为 hz-dataflux-saas-daily-01,且 service 中不包含 kodo 字样,即同时满足这三个匹配规则的数据将被过滤,不再上报工作空间。

设置黑名单以后,可以在查看器根据过滤条件来检查黑名单是否生效。在黑名单创建生效后,即符合过滤条件的数据将不再上报到工作空间。

列表操作

在列表,可根据不同的数据类型进行筛选;

在搜索框,可输入黑名单名称进行搜索定位。

点击编辑图标,即可编辑已经创建的数据过滤规则;

点击 ,即可删除已有的过滤规则。删除后,数据将正常上报到工作空间。

在观测云工作空间管理 > 黑名单,点击 ,即可批量导出批量删除黑名单。

注意:该功能仅对工作空间拥有者、管理员、普通成员显示,只读成员不显示。

可通过导入 JSON 文件的方式创建黑名单,且导入的 JSON 文件需为来自观测云的配置 JSON 文件。

注意事项

若在安装配置 DataKit 时,在 datakit.conf 文件中配置了黑名单过滤,则观测云中配置的黑名单规则不会对其生效;

DataKit 每 10 秒会拉取一次数据,黑名单配置后不会立即生效,需要等待至少 10 秒时间;

黑名单配置完成后,统一保存在 DataKit 的目录 /usr/local/datakit/data 下的 .pull 文件中,更多详情,可参考 查看黑名单

文档评价

文档内容是否对您有帮助? ×