您好,欢迎来到站长目录(28sn.com)!


ELK 索引生命周期管理

来源:网络整理 浏览:306次 时间:2021-03-03
ELK 索引生命周期管理
前言

之前搭建的 ELK 集群经过几天的日志收集,索引数逐渐增多,服务器的各项内存、cpu、IO 指标开始上涨起来,要解决这个问题,在权衡性能与用户使用,应该做好索引的生命周期管理。

kibana 索引配置1. 管理索引

点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引

ELK 索引生命周期管理

配置 kibana 的索引匹配

ELK 索引生命周期管理

配置索引生命周期

点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期

ELK 索引生命周期管理

配置索引策略文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.1/index-lifecycle-management.html
配置索引的生命周期,折腾了我好几天,这里要仔细记录下:

首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置
需要说明的是并不是每个阶段都是必要配置,这里我的配置参考如下图,

ELK 索引生命周期管理

hot 阶段

ELK 索引生命周期管理

warm阶段 这里设置的是创建索引 3 天后转移到这一阶段,同时还配置强制合并为 3 个 segments

ELK 索引生命周期管理

cold阶段,这里设置的是创建索引 7 天后转移到这一阶段,同时冻结这一索引

ELK 索引生命周期管理

delete阶段,这里设置的是创建索引 15 天后转移到这一阶段,同时删除这一索引

点击链接免费在线学习 https://ke.magedu.com

配置好生命周期策略后,我们需要创建一个模板,将我们现在的输入 index 接管过来,然后将策略应用于这个模板,这就达到了,每次创建的 index 都能应用于这一策略
其实最方便的就是将你创建的索引都以 logstash- 开头,默认就包含一个名为 logstash 的模板,如果你不想以 logstash- 开头创建索引,你可以先创建个模板参考如下:

PUT /_template/my_template{  "order" : 0,  "index_patterns" : [    "prod-*",    "stage-*",    "dev-*"  ],  "settings" : {    "index" : {      "number_of_shards" : "1",      "refresh_interval" : "5s"    }  },  "mappings" : {    "dynamic_templates" : [      {        "message_field" : {          "path_match" : "message",          "mapping" : {            "norms" : false,            "type" : "text"          },          "match_mapping_type" : "string"        }      },      {        "string_fields" : {          "mapping" : {            "norms" : false,            "type" : "text",            "fields" : {              "keyword" : {                "ignore_above" : 256,                "type" : "keyword"              }            }          },          "match_mapping_type" : "string",          "match" : "*"        }      }    ],    "properties" : {      "@timestamp" : {        "type" : "date"      },      "geoip" : {        "dynamic" : true,        "properties" : {          "ip" : {            "type" : "ip"          },          "latitude" : {            "type" : "half_float"          },          "location" : {            "type" : "geo_point"          },          "longitude" : {            "type" : "half_float"          }        }      },      "@version" : {        "type" : "keyword"      }    }  },  "aliases" : { }}

以上的模板接管了 prod- stage- dev-* 开头的 index,然后将策略应用于这些 index

ELK 索引生命周期管理

现在我们就可以在 index management 里查看索引当前的生命周期状态

ELK 索引生命周期管理

总结

虽然按照这个流程下来,能达到我们的预期效果。但其中还有很多的东西是需要更多的时间去理解的。比如:shard、segments、这些该怎么分配,怎么去优化。

点击链接免费在线学习 https://ke.magedu.com

推荐站点

  • 我爱发烧音乐我爱发烧音乐

    我爱发烧音乐囊括了从流行音乐到古典音乐多个类型的音乐作品,专栏推荐最新的音乐,提供音乐排名榜单!可供免费线上收听音乐,歌曲流畅,音效极佳! 网站提供的钢琴以及二胡专栏,可供收听者,陶冶情操,改善心情,是难得的轻音乐典藏!

    www.520fs.com
  • 世纪音乐网世纪音乐网

    世纪音乐网是专业的在线音乐试听MP3下载网站。歌曲总计30余万首,收录了网上最新歌曲和流行音乐,DJ舞曲,非主流音乐,经典老歌,劲舞团歌曲,搞笑歌曲,儿童歌曲,英文歌曲等。是您上网听歌的最佳网站。

    www.ssjj.com
  • 杭州网杭州网

      杭州网是杭州地区唯一的新闻门户网站,由中共杭州市委宣传部、杭州日报报业集团和杭州广播电视集团共同组建的杭州网络传媒有限公司运营。

    www.hangzhou.com.cn
  • 深圳在线深圳在线

      深圳在线 www.szol.net是深圳本地最大、最早的地方生活资讯网站之一,网站名“深圳在线www.szol.net”由南方报业传媒集团编辑委员会总编辑、南方日报社总编辑、南方都市报总编辑、南方书画院名誉院长王春芙亲笔题名,深圳在线www.szol.net团队与深圳热线www.szonline.net、奥一网www.oeeee.com都源于全国最早成立于1996年的知名网络公司——深圳万用网。

    www.szol.net
  • 今题网今题网

     今题网- 中国领先的社区服务网,提供社区服务, 在线交友和商家推广服务,于2004年创建上线,公司现有员工超过百名。今题网自成立以来,凭借其独特的定位和丰富的社区交友功能, 凭借其团队超强的搜索引擎优化技术吸引超过千万的用户成为今题网的注册会员。

    www.jinti.com

鄂公网安备 42062502000001号