黑名单¶
通过设置黑名单，可以过滤掉符合条件的不同类型的数据。即配置黑名单以后，符合条件的数据不再上报到观测云工作空间，帮助您节约数据存储费用。
前提条件¶
- 安装 DataKit；
- 如需配置除日志以外的其他数据，DataKit 版本需高于1.4.7。
新建黑名单¶
- 点击管理 > 黑名单 > 新建黑名单；
- 定义当前黑名单规则的名称和描述；
- 选择数据来源类型；
- 添加一条或多条过滤规则；
- 点击确定，即可开启数据黑名单过滤规则。
数据来源¶
黑名单名称根据数据来源自动生成，包含日志、基础对象、资源目录、网络、应用性能监测、用户访问监测、安全巡检、事件、指标、Profile。
输入字段名称、字段值等信息后，后续通过 DataKit 配置数据来源和字段并上报数据后即可生效。
| 数据类型 | 数据来源（支持自定义预设） |
|---|---|
| 日志 | 日志来源（source），如 nginx 等 |
| 基础对象 | 类别（class），如 HOST 等 |
| 资源目录 | 类别（class），如 MySQL 等 |
| 网络 | 来源（source），如 netflow，httpflow |
| 应用性能监测 | 服务（service），如 redis 等；可选择“全部服务” |
| 用户访问监测 | 应用（app_id） |
| 安全巡检 | 类别（category），如 system 等 |
| 事件 | 来源（source），如 monitor 等 |
| 指标 | 指标集，如 cpu 等 |
| Profile | 服务（service） |
过滤¶
支持两种条件选择：“任意”和“所有”。“任意”为 “或（OR）”条件，“所有”为“且（AND）”条件。
-
字段名：支持手动输入字段名，必须是精准值，可以在查看器“显示列”查看需要匹配的字段名。
-
字段值：支持手动输入字段值，支持输入单值、多值，支持正则语法。
-
操作符：支持
in / not in / match / not match4 种模式，in / not in为精准匹配，match / not match为正则匹配。
操作符 |
支持类型 |
说明 | 示例 |
|---|---|---|---|
in / not in |
数值 | 指定的字段是否在列表中，列表中支持多类型混杂 | 1,2,"foo",3.5 |
match / not match |
正则表达式 | 指定的字段是否匹配列表中的正则，该列表只支持字符串类型 | "foo.*","bar.*" |
注意：
- 若只需要为日志数据创建黑名单，可前往日志 > 黑名单进行配置。
- 数据类型支持字符串、整数、浮点三种类型；
- 若数据来源是日志，则在功能菜单日志 > 黑名单下会同步创建一条日志过滤规则，反之亦然。
示例¶
以下示例中，定义黑名单的名称为“有条件过滤”。选择全部来源的日志，满足 status 为 ok 或 info，且 host 不为 hz-dataflux-saas-daily-01，且 service 中不包含 kodo 字样，即同时满足这三个匹配规则的数据将被过滤，不再上报工作空间。
设置黑名单以后，可以在查看器根据过滤条件来检查黑名单是否生效。黑名单创建生效，即符合过滤条件的数据将不再上报到工作空间。
列表操作¶
您可通过以下操作来管理黑名单列表：
- 根据不同的数据类型进行筛选；
- 在搜索栏输入黑名单名称进行搜索定位。
- 可修改已经创建的数据过滤规则；
- 可删除已有的过滤规则。删除后，数据将正常上报到工作空间。
-
批量操作：点击 ，即可批量导出、批量删除黑名单。
注意：该功能仅对工作空间拥有者、管理员、普通成员显示，只读成员不显示。
-
可通过导入 JSON 文件的方式创建黑名单，且导入的 JSON 文件需为来自观测云的配置 JSON 文件。
注意事项¶
-
若在安装配置 DataKit 时，在
datakit.conf文件中配置了黑名单过滤，则观测云中配置的黑名单规则不会对其生效； -
DataKit 每 10 秒会拉取一次数据，黑名单配置后不会立即生效，需要等待至少 10 秒时间；
-
黑名单配置完成后，统一保存在 DataKit 的目录
/usr/local/datakit/data下的.pull文件中。