如何搭建ELK 实时日志分析平台，彻底解决集群项目的日志查看问题

ELK是什么？能为我们解决哪些问题？目前企业主流的架构应用设计详解！

（一）ELK是什么

• 出现问题log的重要性

tomcat查询log日志，大家应该都会吧，通过查看catalina.log。当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk 就可以获得自己想要的信息。如果有5,6台主机用grep来查，每台都要进行grep，目前我们就是这样。在一台机器用grep还能忍，如果是多台的话确实很让人崩溃。有个系统一上线可能日志系统都是几十个G，如果查几天之前的，你说导出，可以导出几个G下载也很慢的，特别慢。log大的话，用grep和awk也非常非常的慢，很可能卡死。vi的方式直接可能把主机搞爆。

1.日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。

2.应用太多，面临数十上百台应用时你该怎么办。

3.随意登录服务器查询log对系统的稳定性及安全性肯定有影响。

4.如果使用人员对Linux不太熟练那面对庞大的日志，定位问题慢。

（二） ELK有哪些优势

ELK又能给我们解决哪些问题呢？

1.日志统一收集，管理，访问，非常优化的统一化管理界面。查找问题方便安全。

2.使用简单，可以大大提高定位问题的效率

3.可以对收集起来的log进行分析

4.能够提供错误报告，监控机制

（三）ELK架构设计

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。

• LogStash

它可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解析后输出到ES中

• ElasticSearch

这是一个基于Lucene的分布式全文搜索框架，可以对logs进行分布式存储，有点像hdfs。此为ELK的核心组件，日志的分析以及存储全部由es完成，因此在后面的课程中我们还会对此进行重点讲解。

• Kibana

它可以多维度的展示es中的数据。这也解决了用mysql存储带来了难以可视化的问题。他提供了丰富的UI组件，简化了使用难度，数据在es中的展示是比较让人蛋疼的，后面再讲es的时候让大家看看。

• 目前ELK主要有两种框架：

这些都是在log日志输出规范的前提下。开发的时候规范log打印。千万不要作死的打，把磁盘的IO打爆，最后影响到系统的性能。

1.普通框架

50G以下的log，基本够用。

LogStash + ElasticSearch + Kibana

2.个性化扩展框架（针对日志数据需要二次处理以及多方使用的场景）

FileBeat：轻量级收集日志。速度快，稳定。不占资源。

Redis：缓存

Kafka：消息中间件。可缓存大数据量。

说说部署，这里确实要注意下，我自己最开始部署的时候，遇到了很多的坑，会给大家说，避免自己部署的时候在遇到。

（四）如何快速搭建一套稳定的ELK环境

• elasticsearch 5.6.4 + kibana5.2.0 + logstash5.6.3

线上环境就是这个比较稳定。实践过的。

• JDK1.8安装

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk*
cd jdk*
pwd
echo "export JAVA_HOME=/opt/jdk1.8.0_11" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile

• ES

之前很多的版本都是ES都是2.X和5.X有很大的差别，使用的功能上都有差别。2.X考虑的太久了2001几年吧，5.6还是比较新的。支持的JDK是1.8，ES建议不要使用太新和太久的。ELK中最难装的就是ES。

cd /opt/
tar -zxvf elasticsearch-5.6.4.tar.gz 

#修改配置
vi config/elasticsearch.yml 
cluster.name : my-application
node.name : node-1
network.host : 0.0.0.0
http.port : 9200

ELK中的核心，启动的时候一定要注意，因为es不可以进行root账户启动，所以你还需要重新添加一个账户，我这里是apps

adduser apps
passwd apps
#密码设置成123

sudo vi /etc/security/limits.conf
#添加这些内容，注意这里面的apps这个名称是根据自己定义的来修改的用户名。
apps hard nofile 65536
apps soft nofile 65536

vi /etc/security/limits.d/20-nproc.conf
#添加这些内容
* soft nproc 1024
#修改为
* soft nproc 2048

vi /etc/sysctl.conf 
#添加下面配置
vm.max_map_count=655360
#执行
sysctl -p

apps增加权限

chown -R apps:apps /opt/elasticsearch-5.6.4

启动ES

./bin/elasticsearch

谷歌插件：elasticsearch-head

• logstash 安装

解压

 tar -zxvf logstash-5.6.3.tar.gz 

在config目录建：logstash.conf

cd /opt/logstash-5.6.3/config
vi logstash.conf

做好input ，filter，output三大块， 其中input是吸取logs文件下的所有log后缀的日志文件，filter是一个过滤函数，配置则可进行个性化过滤，output配置了导入到hosts为127.0.0.1:9200的elasticsearch中，每天一个索引。start_position是监听的位置，默认是end，即一个文件如果没有记录它的读取信息，则从文件的末尾开始读取，也就是说，仅仅读取新添加的内容。对于一些更新的日志类型的监听，通常直接使用end就可以了；相反，beginning就会从一个文件的头开始读取。但是如果记录过文件的读取信息，则不会从最开始读取。重启读取信息不会丢失。

如果是指定的tomcat，直接到path修改成指定的日志路径名称就可以了。

input {
 file {
 type => "log"
 path => "/apps/svr/servers/logs/*.log"
 start_position => "beginning"
 }
}
output {
 stdout {
 codec => rubydebug { }
 }
 elasticsearch {
 hosts => "127.0.0.1"
 index => "log-%{+YYYY.MM.dd}"
 }
}

bin目录下启动logstash了，配置文件设置为conf/logstash.conf，加&后台启动。

cd 
./bin/logstash -f ../config/logstash.conf & 

配置多个文件：./logstash -f ../config 指定启动目录，然后启动目录下配置多个*.Conf文件。里面指定不同的logpath。

• kibana-5.2.0-linux-x86_64 安装

tar -zxvf /opt/kibana-5.2.0-linux-x86_64.tar.gz

配置kibana，文件中指定一下你需要读取的elasticSearch地址和可供外网访问的bind地址就可以了

cd /opt/kibana-5.2.0-linux-x86_64/bin
vi /opt/kibana-5.2.0-linux-x86_64/config/kibana.yml 
# elasticsearch.url: http://localhost:9200，如果是集群则配置master节点。
# server.host: 0.0.0.0

配置启动

cd /opt/kibana-5.2.0-linux-x86_64/
 ./bin/kibana &
#如果需要删除指定端口的服务可以这样
# netstat -tlnp|grep 端口

在/opt/logs/写入文件

echo 'ssssssssssss' >> log1.log

访问：http://192.168.90.101:5601/

#填入log-*，create创建下就可以了。
log-*

收集到的日志信息

PS：可以监听当前服务器的流量。电脑配置至少4G内存，ES默认是2G的内存，目前是使用的伪分布式的方式，多台电脑也是这样的。