数据转发¶
观测云提供日志、链路和用户访问数据保存到观测云的对象存储及转发到外部存储的功能,您可以自由选择存储对象,灵活管理数据转发数据。
在数据转发页面,您可以通过设置查询时间和数据转发规则快速查询存储数据(包含观测云备份日志、AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列)。
前提条件¶
观测云商业版用户可使用数据转发功能,体验版用户需先升级商业版。
新建规则¶
进入数据转发页面,点击转发规则 > 新建规则。
注意:数据转发规则创建完成后,每 5 分钟执行一次规则校验。
输入规则名称¶
- 规则名称:即当前数据转发规则的名称,限制最多输入 30 个字符。
- 包含扩展字段:默认情况下仅转发符合条件日志的
message
字段内容信息。若勾选 “包含扩展字段”,符合条件的整条日志数据都会被转发。应用性能和用户访问数据默认转发整条数据,不受此选项影响。
注意:若创建多个数据转发规则,则优先匹配勾选包含扩展字段的规则,即若不同的规则命中同一条数据,则优先按照同步包含扩展字段的逻辑展示整条日志数据。
定义过滤条件¶
-
数据源:包含日志、链路、用户访问数据。
-
过滤条件:支持自定义条件间的运算逻辑,您可以选择所有条件、任意条件:
-
所有条件:匹配所有过滤条件都满足的日志数据才会被保存到数据转发;
-
任意条件:任意一个过滤条件满足即可被保存到数据转发。
-
注意:不添加过滤条件即表示保存全部日志数据;您可以添加多条过滤条件。
条件运算符见下表:
条件运算符 | 匹配类型 |
---|---|
in、not in | 精确匹配,支持多值(逗号隔开) |
match、not match | 模糊匹配,支持输入正则语法 |
选择存档类型¶
注意:五种存档类型全站点开放。
为提供更加全面的数据转发存储方式,观测云支持五种存储路径。
观测云:当选择数据转发存储对象为观测云,匹配到的日志数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。
该规则下的日志数据最低存储默认为 180 天,规则一旦创建无法取消,存储期间会每天收取费用;您可以前往管理 > 设置 > 变更数据存储策略中修改数据转发存储策略。
查看转发规则¶
规则创建完成后,自动进入转发规则列表:
-
可输入规则名称进行搜索;
-
您可以选择启用、禁用当前规则;
-
点击规则右侧 、编辑、 按钮,即可进行相应操作。
-
您可以选中多个规则进行批量操作。
注意:
-
查看转发数据会存在最多 1 个小时的延迟;
-
编辑模式下,访问类型和地区不支持调整;选择观测云存储的规则,编辑和查看内容一致;
-
规则删除后已转发的数据不会被删除,但不再产生新的转发数据。
转发规则查看器¶
回到数据转发页面,默认进入转发数据 tab 页。您可以在时间控件自定义时间范围查询。
观测云会根据选中的时间按批次获取文件搜索匹配数据,每批返回 50 条数据。首次查询若未查到数据,或返回的数据未满足每页 50 条的要求,您可以手动点击继续查询直至扫描完成。
由于查询到的数据为乱序状态,您可以针对列出的数据的时间范围做排序。此行为不会影响数据查询结果。