日志索引¶
观测云具备高级的日志索引功能,通过创建并管理多个索引,系统自动根据设定的筛选条件将日志数据归档到相应的索引中。此外,您还能为每个索引定制数据存储策略,以有效控制和降低存储成本,实现数据管理的灵活性与经济效益的双重优化。
在日志索引下,您可以:
注意:默认情况下,日志多索引无法新建,请联系观测云客户经理申请开通此功能。
新建索引¶
在观测云工作空间,点击日志 > 索引 > 新建索引。
- 索引名称:自定义索引的名称;
- 添加过滤条件:支持
in
、not in
等筛选方式; - 配备数据存储策略:支持选择 3 天、7 天、14 天、30 天 和 60 天。
- 注意:部署版用户在此处可自定义输入数据存储策略时长,范围:1d ~ 1800d。
注意
- 索引名称必须唯一,且必须以字母开头,并且只能包含小写字母、数字或”_“字符;不可修改,且已删除的索引名称不可再创建;
- 默认情况下,所有日志都存在一个名称为
default
的默认索引中,默认索引不允许修改和删除; - 设置日志多索引以后,日志会流入第一个匹配的索引中,同一条日志不会跨索引重复保存;
- 日志多索引包括
default
索引在内,最多存在 6 个,即自定义索引最多能创建 5 个; - 标准成员和只读成员只有查看权限,管理员和拥有者可以编辑、删除、拖拽排序。
示例¶
在日志索引,配置索引过滤条件为 container_name
为 dataflux
。索引新建成功后,匹配这一筛选条件的日志数据上报时,会匹配流入第一个索引 test_1
。
在索引列表,点击该索引即可跳转到日志查看器,查看对应的日志数据。
或者您可以直接前往日志 > 查看器选择不同的索引查看对应的日志内容。
绑定外部索引¶
观测云支持绑定外部的索引数据,绑定成功后,您可以在观测云工作空间对外部索引数据进行查询和分析。
目前支持的外部索引包括:
SLS Logstore
Elasticsearch
OpenSearch
日志易
火山引擎 TLS
注意:
- 绑定的索引仅支持删除(删除即为取消绑定),取消绑定后则无法查询该索引下的日志;
- 其他索引不能与日志索引重名,也不能与历史日志索引重名。
字段映射¶
由于观测云和外部索引的标准字段可能不一致,在观测云中缺失部分字段可能会造成部分功能无法正常使用。
为了在观测云快捷查看和分析外部索引的日志数据,观测云提供字段映射的功能,在绑定外部索引时可直接为日志的字段进行映射。
time
:日志的上报时间,SLS Logstore 默认映射date
字段为time
,Elasticsearch、OpenSearch 可按照实际日志数据自行填写;若没有此字段,在日志查看器中数据将乱序展示。-
_docid
:日志的唯一 ID,映射后您可以查看绑定的日志详情,例如:您可以将原字段logid
映射为_docid
。如果在这部分日志中,logid
的value
不唯一,此时若不刷新详情页,则不会产生任何影响;若刷新了详情页,则取时间最早的一条日志展示。若没有此字段,日志详情页会有部分内容缺失。若映射字段不唯一,打开详情页时会取该 ID 对应的时间最早的一条日志进行展示。 -
message
:日志的内容,映射后您可以查看绑定的日志内容,并且通过message
字段聚类分析日志数据。
更多详情,可参考 日志查看器聚类分析。
您也可以在外部索引列表,点击修改进入需要修改字段映射的索引,修改该索引的映射字段。
注意
- 每个索引的映射规则不相通,各自独立保存;
- 若某条日志存在
_docid
字段,又映射了一个相同字段,则原日志中的_docid
不生效。
管理索引¶
您可通过以下操作对索引列表进行管理。
禁用/启用
-
禁用索引后,后续日志不会再进入该索引,会继续匹配流入其他索引进行保存,若无匹配其他索引,则保存在默认
default
索引中; -
启用索引后,后续日志会重新进入该索引进行保存。
编辑
点击编辑图标,即可编辑已经创建的日志索引。在下图中,当前索引 index.da
新建成功后,source
为 datakit
的日志数据上报时,会匹配流入到第一个符合的索引进行保存。
注意:变更存储策略会删除索引中的数据,请谨慎操作。
操作审计:点击即可前往查看针对该索引的所有操作日志。
删除
点击 图标,即可删除已经创建的日志索引。
注意:删除索引会同时删除该索引中的日志数据,若无其他匹配索引,后续上报的日志数据会保存在默认索引 default
中。
若当前被删除的索引已被授权给其他工作空间查询,删除后对方空间将不能再继续查询该索引。
删除日志索引后,您可按需创建同名索引。
拖拽
点击 图标,即可上下拖拽已经创建的日志索引。
注意:日志会流入第一个匹配到的索引中,改变索引顺序可能会导致日志更改流向。