数据转发¶
更新日志
2023.11.2:
- 支持将数据保存到观测云侧的 OSS、S3、OBS 数据存储库;
- 【数据转发】导航位置调整至【管理】模块,仍可通过原【日志】、【用户访问监测】、【应用性能监测】的导航栏二级菜单进入。
2023.9.26:数据转发规则查询支持 RUM、APM 数据。
2023.9.21:新增外部存储转发规则数据查询入口;支持启用/禁用转发规则。
2023.9.7:原【备份日志】正式更名为【数据转发】。
观测云提供日志、链路和用户访问数据保存到观测云的对象存储及转发到外部存储的功能,您可以自由选择存储对象,灵活管理数据转发数据。
在数据转发页面,您可以通过设置查询时间和数据转发规则快速查询存储数据(包含观测云备份日志、AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列),还可以查看观测云历史备份日志和 SLS Query Logstore 数据。
前提条件¶
观测云商业版用户可使用数据转发功能,体验版用户需先升级商业版。
新建规则¶
进入数据转发页面,点击转发规则 > 新建规则。
注意:数据转发规则创建完成后,每 5 分钟执行一次规则校验。
输入规则名称¶
在弹出的对话框,输入规则名称即可添加一条新的规则:
字段 | 描述 |
---|---|
规则名称 | 限制最多输入 30 个字符。 |
包含扩展字段 | 若勾选 “包含扩展字段”,符合条件的整条日志数据都会被转发。应用性能和用户访问数据默认转发整条数据,不受此选项影响。 |
定义过滤条件¶
数据源:日志、链路、用户访问。
过滤条件:支持自定义条件间的运算逻辑,您可以选择所有条件、任意条件:
-
所有条件:匹配所有过滤条件都满足的日志数据才会被保存到数据转发;
-
任意条件:任意一个过滤条件满足即可被保存到数据转发。
注意:不添加过滤条件即表示保存全部日志数据;您可以添加多条过滤条件。
条件运算符见下表:
条件运算符 | 匹配类型 |
---|---|
in、not in | 精确匹配,支持多值(逗号隔开) |
match、not match | 模糊匹配,支持输入正则语法 |
选择存档类型¶
为提供更加全面的数据转发存储方式,观测云支持以下五种存储路径:
- 观测云;
- AWS S3;
- 华为云 OBS;
- 阿里云 OSS;
- Kafka 消息队列。
注意:五种存档类型全站点开放。
观测云¶
当选择数据转发存储对象为观测云,匹配到的日志数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。
该规则下的日志数据最低存储默认为 180 天,规则一旦创建无法取消,存储期间会每天收取费用;您可以前往管理 > 设置 > 变更数据存储策略中修改数据转发存储策略。
AWS S3¶
1、存档类型选择 AWS S3,即表示将匹配到的日志数据保存到 S3 对象存储中;
2、选择访问类型:
您需使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权。
在 AWS 中配置观测云 IAM 角色后,填写存档信息,填入 AWS 账号 ID、AWS 角色名称、地区及 Bucket 名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 外部 ID 是否失效;
- 账号 ID 是否正确;
- 账号角色是否存在;
- 存储桶是否存在;
- Region 是否不一致。
当出现这种情况时,需谨慎操作:
-
若您点击重新生成外部 ID,历史 ID 将于 24 小时后失效,请尽快前往 AWS 控制台替换;
-
不要多次点击生成外部 ID,请谨慎操作!
点击下载 AWS 资源授权模板,前往 AWS 中配置观测云 IAM 策略。
配置完成后,填写账号信息,输入 AWS 账号 ID、AWS AK & SK、地区及 Bucket 名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 账号 ID 是否正确;
- AK / SK 是否存在;
- 存储桶是否存在;
- Region 是否不一致。
AWS 提供跨账号授权能力,您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略。
注意:海外站点的账号 ID 与中国站点不同,请作区分:
站点 | ID |
---|---|
中国香港 | 588271335135 |
俄勒冈 | 521643107266 |
新加坡 | 521643107266 |
法兰克福 | 521643107266 |
配置完成后,选择地区并输入存储桶名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 账号 ID 是否正确;
- 存储桶是否存在;
- Region 是否不一致。
3、点击确定,即可创建成功。
注意:若存档类型信息有变动,将弹出确认框,进行创建规则的二次确定。
华为云 OBS¶
1、存档类型选择华为云 OBS,即表示将匹配到规则的日志自动转发到外部 OBS;
2、在配置华为云资源访问授权,须使用观测云为您提供的专属华为云账号 ID f000ee4d7327428da2f53a081e7109bd
,前往添加跨账号访问授权策略;
注意:海外站点的账号 ID 与中国站点不同,请作区分:
站点 | ID |
---|---|
中国香港 | 25507c35fe7e40aeba77f7309e94dd77 |
俄勒冈 | 25507c35fe7e40aeba77f7309e94dd77 |
新加坡 | 25507c35fe7e40aeba77f7309e94dd77 |
法兰克福 | 25507c35fe7e40aeba77f7309e94dd77 |
3、选择地区;
4、在存储桶,输入您在华为云的桶名称;
5、点击确定,即可创建成功。
阿里云 OSS¶
1、存档类型选择 阿里云 OSS,即表示将匹配到的日志数据保存到 OSS 对象存储中;
2、选择访问类型:
您需使用观测云默认生成的外部 ID 配置角色授权使用。
在阿里云配置台配置授权角色后,填写存档信息,填入阿里云账号 ID、OSS 角色名称、地区及 Bucket 名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 授权是否成功;
- 账号 ID 是否正确;
- 存储桶是否存在;
- Region 是否不一致。
当出现这种情况时,需谨慎操作:
-
若您点击重新生成外部 ID,历史 ID 将于 24 小时后失效,请尽快前往阿里云控制台替换;
-
不要多次点击生成外部 ID,请谨慎操作!
您需在阿里云中配置观测云 RAM 策略。配置完成后,填写账号信息,输入阿里云账号 ID、阿里云 AK & SK 、地区及 Bucket 名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 账号 ID 是否正确;
- AK / SK 是否存在;
- 存储桶是否存在;
- Region 是否不一致。
阿里云提供跨账号授权能力,您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略。
注意:海外站点的账号 ID 与中国站点不同,请作区分:
站点 | ID |
---|---|
中国香港 | 1702505505232494 |
俄勒冈 | 218475797167922022 |
新加坡 | 218475797167922022 |
法兰克福 | 218475797167922022 |
配置完成后,选择地区并输入存储桶名称。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 账号 ID 是否正确;
- 存储桶是否存在;
- Region 是否不一致。
3、点击确定,即可创建成功。
注意:若存档类型信息有变动,将弹出确认框,进行创建规则的二次确定。
Kafka 消息队列¶
1、地址:Host:Port,多个节点使用逗号间隔。
2、消息主题:即 Topic 名称。
3、安全协议:
在 Kafka 侧,SASL 可以使用 PLAINTEXT 或者 SSL 协议作为传输层,相对应的就是使用 SASL_PLAINTEXT 或者 SASL_SSL 安全协议。如果使用 SASL_SSL 安全协议,必须配置 SSL 证书。
无需任何安全校验,可直接测试连接。
此处需上传 SSL 证书。
认证方式默认为 PLAIN,可选 SCRAM-SHA-256 与 SCRAM-SHA-512 两种。
输入在 Kafka 侧执行安全认证的 username/password,再测试连接。
点击测试连接,若上述信息满足规范,则提示测试连接成功;
若未通过测试,您需确认:
- 地址是否正确;
- 消息主题名称是否正确;
- SSL 证书是否正确;
- 用户名是否正确;
- 密码是否正确。
4、点击确定,即可创建成功。
查看转发规则¶
规则创建完成后,自动进入转发规则列表:
支持输入规则名称进行搜索;
您可以选择启用、禁用当前规则;
点击规则右侧 、编辑、 按钮,即可进行相应操作。
注意:规则删除后已转发的数据不会被删除,但不再产生新的转发数据。
您可以选中多个规则进行批量操作。
转发规则查看器¶
回到数据转发页面,默认进入转发规则 tab 页。首先在下拉框选定规则,您可以自定义时间范围查询,可选择多个日期及定义开始时间和结束时间,时间会精确到小时:
注意:
- 您可以输入关键字来搜索查询匹配数据;
- 时间控件默认为空,选定日期后再选择小时。会根据转发规则列出可点击的小时选项;
- 当您选择了未来的时间范围,系统会自动更正为当前日期;
- 观测云会根据选中的时间按批次获取文件搜索匹配数据,每批返回 50 条数据。首次查询若未查到数据,或返回的数据未满足每页 50 条的要求,您可以手动点击继续查询直至扫描完成。
- 由于查询到的数据为乱序状态,您可以针对列出的数据的时间范围做排序。此行为不会影响数据查询结果。
在索引下,您可以查看观测云历史备份日志和 SLS Query Logstore 数据:
关于查看器具体操作,可参考 查看器的强大之处。