新建转发规则¶
前提条件¶
仅限商业版。
开始新建¶
进入数据转发 > 转发规则 > 新建规则页面。
数据转发规则创建完成后，系统将每 5 分钟执行一次规则校验。
1、输入规则名称¶
即当前数据转发规则的名称。
2、定义转发规则¶
1. 数据源
包含日志、应用性能、用户访问、事件、审计事件；
2. 过滤条件
支持自定义条件间的运算逻辑；可添加多条。
-
所有条件：仅匹配所有过滤条件都满足的日志数据才会被保存到数据转发；
-
任意条件：任意一个过滤条件满足即可被保存到数据转发。
条件运算符见下表：
| 条件运算符 | 匹配类型 |
|---|---|
| in、not in | 精确匹配，支持多值（逗号隔开） |
| match、not match | 模糊匹配，支持输入正则语法 |
若此处不添加过滤条件，即表示**保存全部数据。
Pipeline 处理转发数据
中心 Pipeline 脚本会影响转发条件过滤和最终内容。
创建脚本时，可勾选“启用 Pipeline 处理转发数据”：勾选后，数据先经脚本处理再过滤转存；不勾选则直接转发原始数据。
3. 高级设置
当选择日志为数据源，可进一步配置：
-
包含扩展字段：默认仅转发符合条件日志的
message字段内容。若勾选 “包含扩展字段”，则符合条件的整条日志数据都会被转发；- 创建多个数据转发规则时，优先匹配勾选包含扩展字段的规则。若不同规则命中同一条数据，则优先按包含扩展字段的逻辑展示整条日志数据。
-
限定索引：下拉选择原生直写索引。开启后，仅转发所选索引的日志数据。(❗️开启限定索引后，该数据转发规则的性能消耗会显著降低)
3、选择存档类型¶
为提供更加全面的数据转发存储方式，系统支持以下存储路径。
观测云：匹配到的日志数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。
注意
-
以上存档类型全站点开放；
-
当选择数据转发存储对象为观测云，日志数据最低存储默认为 180 天，且规则一旦创建无法取消，存储期间会每天收取费用；您可以前往管理 > 空间设置 > 变更数据存储策略进行修改。
存储格式¶
按需选择数据存储格式：
-
JSON：文本格式（❗️数据转发至观测云时，仅支持选择 JSON 存储格式）；
-
Parquet：列式存储格式。
| 特性 | JSON | Parquet |
|---|---|---|
| 功能定位 | 用于即时消费与集成的标准格式 | 用于低成本归档与离线分析的优化格式 |
| 数据状态 | 可回看的热数据。转发后的数据会在观测云平台内（如日志查看器）正常存储和展示，保持双端一致可见 | 外部处理的冷数据。数据转发后，原始日志仍会在观测云平台内正常存储和展示，但以 Parquet 格式转发出去的副本，因格式限制，其内容无法在观测云界面中重新载入或回看 |
| 核心场景 | 在保持观测云内数据可观测性的同时，提供一份供外部系统（如 SIEM、自建日志库）实时消费的、可直接解析的副本 | 为符合条件的数据，生成一个供外部大数据系统进行高效批量分析的、存储成本更优的专用副本 |
| 业务使用 | 下游业务系统可通过 API、对象存储文件或消息队列，准实时地获取与观测云界面内完全一致的可读日志，用于： |
下游大数据系统可定期（如每小时/每天）批量读取对象存储中的 Parquet 文件，用于： |
| 关键影响 | 数据双写，双端可视。产生额外的存储成本，但确保了数据在观测云内外生态中的一致性和即时可用性 | 格式专用，存在回看限制。生成的 Parquet 副本专为外部分析优化，不适合回流查看，因此该副本本身无法在观测云中回看。但原始日志在观测云内的可观测性不受任何影响 |
加密存储¶
开启加密存储后，系统会针对转发出的数据做对称加密。后续若您需要查询或查看这些数据，系统能够将加密后的数据还原为原始内容进行展示。
什么是对称加密？
对称加密是一种加密方式，使用相同的密钥对数据进行加密和解密，就像一把钥匙既能锁上也能打开同一把锁。
4、定义数据查看权限¶
为转发的数据设置查看权限，从而提高数据安全性。
-
无限制：工作空间的所有成员均可查看转发数据；
-
自定义：指定可以查看转发数据的成员角色。