索引¶
通过提取日志字段、指标标签等关键特征,索引能够关联特征值与原始数据,实现高效检索,避免低效的全量扫描。
创建并管理多个索引后,系统会依据预设筛选条件,将日志数据自动归档到对应索引。同时,您可为每个索引定制数据存储策略,有效控制并降低存储成本,兼顾数据管理灵活性与经济效益。
开始新建¶
观测云支持创建或绑定三种索引类型:
索引类型 |
定义 | 核心特征与数据流向 |
控制权归属 |
|---|---|---|---|
| 日志索引 | 观测云中基础的日志存储单元。日志数据上报后,由系统根据预设的规则(如匹配条件、筛选)自动分拣并存储到匹配的索引中 | 规则化自动分拣 采集器 → 观测云统一接收 → 按规则分拣 → 写入目标索引 |
观测云平台控制台 (通过配置索引规则实现控制) |
| 原生直写索引 | 一种由采集器端直接指定目标索引名的写入方式。数据将绕过平台侧的默认分拣规则,直接写入指定索引 | 指定目标直达写入 采集器(指定索引名)→ 直接写入目标索引 |
采集器配置 (在 DataKit 等采集端配置中指定) |
| 外部索引 | 观测云提供的跨数据源查询集成功能。通过绑定授权,将一个外部数据源(如自建 ES)映射为工作空间内一个可统一查询的逻辑索引 | 外部数据源绑定与统一查询 数据存储在外部,观测云建立查询通道进行检索 |
外部数据源系统 (数据所有权与存储管理均在外部) |
当数据被采集至观测云,系统将根据规则拆分配送至索引或转发至其他第三方系统,以此提高数据处理效率,满足数据多路分发的需求。
管理索引¶
您可通过以下操作对索引列表进行管理。
导出索引¶
在对应索引类型列表,点击右上角“导出”按钮,即可导出对应索引 JSON 文件。
导入索引¶
支持导入本地索引配置文件。
日志索引映射¶
日志索引映射用于根据详情数据中的字段值,自动选择详情页关联查询使用的默认日志索引。
注意
日志索引映射仅影响详情页的关联日志查询,不影响日志写入索引的匹配条件。
配置入口¶
进入日志 > 索引,点击日志索引映射,即可创建和管理字段值与默认日志索引之间的映射关系。
配置方法¶
每条映射包含:
- 匹配字段:详情数据中的字段名称,例如
app_id、source、service、env或version; - 字段值:用于判断是否命中的字段值;
- 默认日志索引:字段值命中后需要查询的日志索引。
配置示例:
| 匹配字段 | 字段值 | 默认日志索引 |
|---|---|---|
app_id |
KKHome |
com_kkhome_kksecurity |
source |
df_rum_ios_log |
ios-security-log |
service |
front-backend |
sm-test-front-backend |
如需配置原“匹配服务”能力,请将匹配字段设置为 service,然后填写服务名称和对应的日志索引。
关联查询¶
配置生效后,从 RUM、APM 等数据详情页查看关联日志时,系统会读取当前详情数据中的字段,并自动选择所有命中的可用日志索引。
日志数量统计和日志列表查询使用相同的索引匹配结果,以保证数量和列表内容保持一致。
字段值匹配¶
字段值支持以下配置方式:
- 精确匹配:例如
front-backend; - 多值匹配:多个值之间使用英文逗号分隔,例如
api,web; - 通配匹配:
*:匹配零个或多个任意字符;?:匹配一个任意字符。
多规则命中¶
系统会检查全部映射规则,并合并所有命中的可用日志索引:
- 同一个字段值命中多条映射时,查询全部对应索引;
- 精确规则和通配规则同时命中时,合并全部对应索引;
- 多条规则指向同一个索引时,系统自动去重;
- 日志数量统计和日志列表查询使用相同的索引集合。
例如:
| 匹配字段 | 字段值 | 默认日志索引 |
|---|---|---|
service |
api-* |
application-log |
service |
api-order |
order-log |
当前服务为 api-order 时,系统会同时查询 application-log 和 order-log。
索引状态控制¶
- 禁用索引:后续日志不会再进入该索引,会继续匹配流入其他索引进行保存。若无匹配其他索引,则保存在默认
default索引中; - 启用索引:后续日志会重新进入该索引进行保存。
索引配置编辑¶
支持编辑已创建的日志索引配置。
注意
变更存储策略会删除索引中的数据,请谨慎操作。
索引删除¶
点击删除图标,可删除已创建的索引。
注意
- 删除后,该索引中的日志数据也会被删除,若无其他匹配索引,后续上报的日志数据会保存在默认索引
default中; - 若被删除的索引已被授权给其他工作空间查询,删除后对方空间将不能再继续查询该索引;
- 删除日志索引后,可按需创建同名索引。
索引排序¶
点击编辑模式:可上下拖拽调整已创建日志索引的顺序;可支持单选、多选支持跨页调整排序,可将一个或多个索引移动到指定位置。
注意
日志会流入第一个匹配到的索引中,改变索引顺序可能会导致日志更改流向。
操作审计¶
点击审计图标,可查看针对该索引的所有操作日志。
