跳转至

日志索引


观测云支持设置日志多索引,筛选符合条件的日志保存在不同的日志索引中,并通过为日志索引选择不同的数据存储策略,帮助用户节约日志数据存储费用。

新建索引

在观测云工作空间,点击日志 > 索引 > 新建索引

新建索引页面,输入索引名称,设置过滤条件,选择数据存储策略,点击确定即可创建一个新的索引。

注意:默认情况下,日志多索引无法新建,需要联系观测云客户经理申请开通此功能。

显示说明:

字段 描述
索引名称 自定义索引的名称,索引名称必须唯一,不可修改,且已删除的索引名称不可再创建。
过滤条件 支持 innot inmatchnot match 等筛选方式。
数据存储策略 支持选择 7 天、14 天、30 天 和 60 天。

Warning
  • 默认情况下,所有日志都存在一个名称为 default 的默认索引中,默认索引不允许修改和删除;
  • 设置日志多索引以后,日志会流入第一个匹配的索引中,同一条日志不会跨索引重复保存;
  • 日志多索引包括 default 索引在内,最多存在 3 个,即自定义索引最多能创建 2 个;
  • 标准成员和只读成员只有查看权限,管理员和拥有者可以编辑、删除、拖拽排序。

索引数据上报说明

在下图中,索引新建成功后,sourcetcp_dial_testing 的日志数据上报时,会匹配流入第一个索引 tcp_dial_testing

新建索引示例

在日志索引,配置索引过滤条件为 sourcehttp_dial_testing

点击索引,即可跳转到日志查看器,查看对应的日志数据。

或者您可以在日志 > 查看器选择不同的索引查看对应的日志内容。

绑定索引

观测云支持绑定外部的索引数据,包括 SLS LogstoreElasticsearchOpenSearch 的索引数据,绑定成功后,您可以在观测云工作空间对外部索引数据进行查询和分析。

Warning
  • 绑定的索引仅支持删除(删除即为取消绑定),取消绑定后则无法查询该索引下的日志;
  • 其他索引不能与日志索引重名,也不能与历史日志索引重名。

SLS Logstore 索引绑定

在观测云日志 > 索引,点击绑定索引。在弹出的对话框选择 SLS Logstore。您可以选择 RAM 子账号授权和第三方快捷授权两种授权方式:

RAM 子账号授权

1、填写 AccessKey ID / AccessKey Secret (简称 AK / AKS),自动获取 Project 和 Logstore;

2、观测云 Index 默认与 Logstore 的名称保持一致,您也可以自定义编辑名称;

注意:该索引名称与 SLS 无关,用于您后续在观测云中的数据筛选。

3、字段映射

4、点击确定后,即可完成索引绑定,您可以在查看器通过切换索引进行查看。

关于如何开通 SLS 存储方案,可参考文档 阿里云市场开通观测云专属版

Warning
  • 若您是观测云商业版用户,您可以参考文档 RAM 账号授权,获取 AK / AKS 进行索引绑定;
  • 若您是观测云专属版用户,您可以直接使用开通专属版时的 AK / AKS 进行索引绑定,关于如何开通专属版,你可以参考文档 阿里云市场开通观测云专属版
  • 若您是观测云专属版用户,且希望绑定其他阿里云账号下的 SLS 日志索引,您可以参考文档 RAM 账号授权,获取 AK / AKS 进行索引绑定。

第三方快捷授权

注意:中国香港及海外站点不支持此项功能。

1、点击 立即前往,即可跳转至阿里云,登录后进行授权操作;

点击同意授权,弹出服务商 UID 校验窗口,UID 获取可点击服务商权限说明页面查看。

输入 UID 后点击确定,自动跳转前往阿里云云市场 > 已购买的服务,此时已授权完成。

2、授权完成后,填写您的阿里云账号 ID,自动获取 Project 和 Logstore;

3、观测云 Index 默认与 Logstore 的名称保持一致,您也可以自定义编辑名称;

注意:该索引名称与 SLS 无关,用于您后续在观测云中的数据筛选。

4、字段映射

5、点击确定后,即可完成索引绑定,您可以在查看器通过切换索引进行查看。

Warning
  • 操作跨账号角色授权需使用阿里云主账号授权了 RAM 访问控制 GetRole、GetPolicy、CreatePolicy、CreatePolicyVersion、CreateRole、UpdateRole、AttachPolicyToRole 权限的子账号;

  • 在验证过程中,如果验证的是被授权的子账号,会自动定位到该子账号所属的主账号,拉取主账号下的 Project 和 Logstore。

FAQ

1、如何确认在阿里云市场授权成功?

您可以在请求授权页面,点击前往 RAM 控制台

角色可查看已被授权的角色;在授权可查看已授权的主体和权限策略。

2、为何输入阿里云账号 ID 后,无法自动获取 Project 和 Logstore?

只有您的阿里云账号开通了 SLS 日志服务并完成授权,才会自动获取 Project 和 Logstore。

同时注意:以 /guance-wksp- 为前缀的 Project 会被自动过滤,不会列出;如果您的 Project 下没有所属 Logstore,将不会自动获取。

Elasticsearch 索引绑定

在观测云日志 > 索引,点击绑定索引。在弹出的对话框选择 Elasticsearch,填写所需信息。填写完成后,可点击测试用户名和密码的正确性。

显示说明:

字段 描述
域名 Elasticsearch 的用户访问地址,请确保在公共网络上可以访问。
用户名 访问时的用户名字。
密码 访问时需要的密码。
Elasticsearch Index Elasticsearch 中需要绑定查看的索引名称。
观测云 Index 观测云工作空间唯一标识的索引名称,由用户自定义填写,且不支持重复的名字,配置完成后,可用于筛选索引名称。
⚠ 该索引名称与 Elasticsearch 无关,用于您后续在观测云中的数据筛选。
字段映射 由于观测云与外部索引的标准字段不一致,您可以在绑定索引时直接为日志的字段进行映射。

OpenSearch 索引绑定

在观测云日志 > 索引,点击绑定索引。在弹出的对话框选择 OpenSearch,填写所需信息。填写完成后,可点击测试用户名和密码的正确性。

显示说明:

字段 描述
域名 OpenSearch 的用户访问地址,请确保在公共网络上可以访问。
用户名 访问时的用户名字。
密码 访问时需要的密码。
OpenSearch Index OpenSearch 中需要绑定查看的索引名称。
观测云 Index 观测云工作空间唯一标识的索引名称,由用户自定义填写,且不支持重复的名字,配置完成后,可用于筛选索引名称。
⚠ 该索引名称与 OpenSearch 无关,用于您后续在观测云中的数据筛选。
字段映射 由于观测云与外部索引的标准字段不一致,您可以在绑定索引时直接为日志的字段进行映射。

Elasticsearch / OpenSearch 绑定索引配置说明

由于 Elasticsearch / OpenSearch 的 index 存在因滚动策略导致某个 index 产生多个索引规则或名称,本配置说明主要介绍当您需要查询当前 index 下所有数据或查询当前 index 下某个索引对应数据,如何在观测云进行配置

索引、别名和分片

  • 索引别名是用于引用一个或多个现有索引的辅助名称;
  • 一个别名可以绑定多个索引,一个索引也可以绑定多个别名。

如上图所示 index1 这个索引中共有 2 个分片,如果用户需要查询的是 index1 中的日志内容,在观测云中只需绑定 index name 为 index1 的索引即可,对于分片数量及大小无任何感知。

索引滚动

如上图所示是以 ES 按照每天一个滚动索引的规则为例, Log - 1 是这些索引的别名,Log - 1 - 2022/10/01 等是 index name。

  • 如果需要在观测云中绑定所有索引,则需要绑定这个索引别名,参考如下示例:

  • 如果需要在观测云中绑定其中的某个索引,或者配置中没有滚动策略,则只需要绑定具体 index name,参考如下示例:

日志易索引绑定

在观测云日志 > 索引,点击绑定索引。在弹出的对话框选择日志易,填写所需信息。填写完成后,可点击测试用户名和密码的正确性。

显示说明:

字段 描述
域名 日志易的用户访问地址,请确保在公共网络上可以访问。
用户名 访问时的用户名字。
密码 访问时需要的密码。
beaver Index 日志易中需要绑定查看的索引名称。
标签 您可以以 key:value 的格式输入标签;多个标签使用 AND & OR 组合;示例:字段1:值1 AND 字段2:值2 OR 字段3:值3;仅查询填写标签关联数据。通过标签过滤数据,从而实现更细颗粒度的数据范围查询授权能力。
观测云 Index 观测云工作空间唯一标识的索引名称,由用户自定义填写,且不支持重复的名字,配置完成后,可用于筛选索引名称。
字段映射 由于观测云与外部索引的标准字段不一致,您可以在绑定索引时直接为日志的字段进行映射。

字段映射

由于观测云和 SLS Logstore 、Elasticsearch、OpenSearch、日志易的标准字段不一致,为了能够更好的让用户在观测云查看和分析外部索引的日志数据,观测云提供字段映射的功能,您可以在绑定索引时直接为日志的字段进行映射(见上图)。

  • time :日志的上报时间,SLS Logstore 默认映射 date 字段为 time ,Elasticsearch、OpenSearch 可按照实际日志数据自行填写;
  • _docid :日志的唯一 ID ,映射后您可以查看绑定的日志详情,例如:您可以将原字段 logid 映射为 _docid。如果在这部分日志中, logidvalue 不唯一,此时若不刷新详情页,则不会产生任何影响;若刷新了详情页,则取时间最早的一条日志展示。

  • message :日志的内容,映射后您可以查看绑定的日志内容,并且通过 message 字段帮助您聚类分析您的日志数据,例如:您可以将原字段 content 映射为 message

更多详情可参考文档 日志查看器聚类分析

您也可以在绑定索引 > 其他索引,选择需要修改字段映射的索引,点击编辑,修改该索引的映射字段。

Warning
  • 每个索引的映射规则不相通,各自独立保存;
  • 若某条日志存在 _docid 字段,又映射了一个相同字段,则原日志中的 _docid 不生效。

操作索引

在日志索引右侧操作菜单下,支持启用/禁用当前自定义的索引:

  • 禁用索引后,后续日志不会再进入该索引,会继续匹配流入其他索引进行保存,若无匹配其他索引,则保存在默认 default 索引中;

  • 启用索引后,后续日志会重新进入该索引进行保存。

在日志索引右侧操作菜单下,点击编辑图标,即可编辑已经创建的日志索引。在下图中,当前索引 index.da 新建成功后,sourcedatakit 的日志数据上报时,会匹配流入到第一个符合的索引进行保存。

注意:变更存储策略会删除索引中的数据,请谨慎操作。

在日志索引右侧操作菜单下,点击 图标,即可删除已经创建的日志索引。

注意:删除索引会同时删除该索引中的日志数据,且不能再创建同名称的索引,若无其他匹配索引,后续上报的日志数据会保存在默认索引 default 中。

在日志索引右侧操作菜单下,点击 图标,即可上下拖拽已经创建的日志索引。

注意:日志会流入第一个匹配到的索引中,改变索引顺序可能会导致日志更改流向。

文档评价

文档内容是否对您有帮助? ×