一、ELK介绍

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

• Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；

• Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；

• Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；

• Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

ELK

二、搭建ELK日志平台

环境：

操作系统:CentOS 7 x64

java版本号:1.8.0_131

ELK: 6.1.3

ElasticSearch下载地址：

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.3.rpm

Kibana下载地址：

https://artifacts.elastic.co/downloads/kibana/kibana-6.1.3-x86_64.rpm

Logstash下载地址：

https://artifacts.elastic.co/downloads/logstash/logstash-6.1.3.rpm

三款软件我都是通过rpm安装方式安装的：

1. rpm -ivh elasticsearch-6.1.3.rpm

2. rpm -ivh kibana-6.1.3-x86_64.rpm

3. rpm -ivh logstash-6.1.3.rpm

启动三个服务：

1. systemctl start elasticsearch.service

2. systemctl start kibana.service

3. systemctl start logstash.service

开启对应防火墙端口：

#开启elasticsearch服务的9200端口

firewall-cmd --permanent --zone=public --add-port=9200/tcp

#开启elasticsearch服务的9300端口

firewall-cmd --permanent --zone=public --add-port=9300/tcp

#开启kibana服务的5601端口

firewall-cmd --permanent --zone=public --add-port=5601/tcp

修改Logstash配置，采集log日志文件：

在/etc/logstash/conf.d目录下增加elk.conf配置文件，内容如下：

启动日志采集：

./logstash -f /etc/logstash/conf.d/elk.conf

打开kibana界面查看采集到的日志：

http://127.0.0.1:5601

三、Filebeat介绍

1. logstash和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。
   

2. logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，redis，kafaka。然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch中。