Elasticsearch ILM (index lifecycle management): logstash vs fluentd

Posted on In

ILM

Elasticsearch在升级到7.x之后,推出了一项新功能ILM,用于管理被大家诟病已久的index lifecycle management问题,只需要在kibana内简单配置,就可以管理以前我们不得不设置cronjob去删除index的工作.

但是有个小不便,ILM只能apply到index template上,而不同component向ES feed数据时,有的会创建index template,有的不会.

fluentd

完全不会创建index template,所以只能手动创建index template

logstash

logstash会创建index template,但是大部分时候我们需要使用自定义的index template,这时不得不override掉default的.

使用template_name制定自己创建的template,就可以替换掉default的

1
2
3
4
5
6
7
8
9
10
11
12
13
14
input {
    file {
        path => "/var/log/*"
        type => "system"
        start_position => "beginning"
    }
}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "system-%{+YYYY.MM.dd}"
	template_name => "system_template"
    }
}