跳转至

观测云 ES多租户生命周期管理实践


一、生命周期管理(ilm)

1.1 数据阶段

阶段名称 描述 写入 查询
hot 热数据阶段 频繁写入 频繁查询
warm 温数据阶段 不能写入 较频繁查询
cold 冷数据阶段 不能写入 不频繁查询,查询较慢
frozen 冻结数据阶段 不能写入 很少查询,查询非常慢
delete 删除数据阶段 不能写入 无法查询

1.2 索引操作

注意

(1)热数据阶段,滚动时间起始点为索引创建时间

(2)其他数据阶段(除了热数据阶段),时间计算起始点为滚动结束时间

1.3 示例

二、观测云实际应用

保存策略 描述 热数据阶段 温数据阶段 删除数据阶段
es_rp0 数据保存 1 天 min_age = 0
rollover
min_age = 6h
forcemerge {1}
shrink
min_age = 1d
delete
es_rp2d 数据保存 2 天 min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 2d
delete
es_rp1 数据保存 7天 (1周) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 7d
delete
es_rp2 数据保存 14天 (2周) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 14d
delete
es_rp3 数据保存 30 天(1个月) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 30d
delete
es_rp60d 数据保存 60 天(2个月) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 60d
delete
es_rp4 数据保存 90 天(3个月) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 90d
delete
es_rp5 数据保存 180 天(半年) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 180d
delete
es_rp6 数据保存 360 天(1年) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age = 360d
delete
es_rp720d 数据保存 720 天(近2年) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age=720d
delete
es_rp7 数据保存 1095 天(3年) min_age = 0
rollover
min_age = 1d
forcemerge {1}
shrink
min_age=1095d
delete

三、常见问题

3.1 数据保存时间缩短

修改保存策略后,会滚动出新的索引,之前索引数据不会被删除,一直到满足删除日期条件才会被删除,也即之前索引数据会一直计量收费

3.2 数据保存时间变长

修改保存策略后,会滚动出新的索引,之前索引数据保存时间不会变长,新的索引保存时间使用新的配置

四、参考

ILM: Manage the index lifecycleedit

使用索引生命周期管理实现热温冷架构

【最新】Elasticsearch 6.6 Index Lifecycle Management 尝鲜

文档评价

文档内容是否对您有帮助? ×