观测云 ES 多租户生命周期管理实践¶
生命周期管理(ilm)¶
数据阶段¶
阶段名称 | 描述 | 写入 | 查询 |
---|---|---|---|
hot | 热数据阶段 | 频繁写入 | 频繁查询 |
warm | 温数据阶段 | 不能写入 | 较频繁查询 |
cold | 冷数据阶段 | 不能写入 | 不频繁查询,查询较慢 |
frozen | 冻结数据阶段 | 不能写入 | 很少查询,查询非常慢 |
delete | 删除数据阶段 | 不能写入 | 无法查询 |
索引操作¶
注意:
-
热数据阶段,滚动时间起始点为索引创建时间;
-
其他数据阶段(除了热数据阶段),时间计算起始点为滚动结束时间。
示例¶
观测云实际应用¶
保存策略 | 描述 | 热数据阶段 | 温数据阶段 | 删除数据阶段 |
---|---|---|---|---|
es_rp0 | 数据保存 1 天 | min_age = 0 rollover |
min_age = 6h forcemerge {1} shrink |
min_age = 1d delete |
es_rp2d | 数据保存 2 天 | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 2d delete |
es_rp1 | 数据保存 7天 (1 周) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 7d delete |
es_rp2 | 数据保存 14天 (2 周) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 14d delete |
es_rp3 | 数据保存 30 天(1 个月) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 30d delete |
es_rp60d | 数据保存 60 天(2 个月) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 60d delete |
es_rp4 | 数据保存 90 天(3 个月) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 90d delete |
es_rp5 | 数据保存 180 天(半年) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 180d delete |
es_rp6 | 数据保存 360 天(1 年) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age = 360d delete |
es_rp720d | 数据保存 720 天(近 2 年) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age=720d delete |
es_rp7 | 数据保存 1095 天(3 年) | min_age = 0 rollover |
min_age = 1d forcemerge {1} shrink |
min_age=1095d delete |
常见问题¶
数据保存时间缩短¶
修改保存策略后,会滚动出新的索引,之前索引数据不会被删除,一直到满足删除日期条件才会被删除,也即之前索引数据会一直计量收费。
数据保存时间变长¶
修改保存策略后,会滚动出新的索引,之前索引数据保存时间不会变长,新的索引保存时间使用新的配置。