转载

『互联网架构』理解ELK入门（118）

ELK是什么？能为我们解决那些问题？目前企业主流的架构应用设计详解！

『互联网架构』理解ELK入门（118）

出现问题log的重要性

> tomcat查询log日志，大家应该都会吧，通过查看catalina.log。当我们需要日志分析的时候你大概会这么做：直接在日志文件中 grep、awk 就可以获得自己想要的信息。如果有5,6台主机用grep来查，每台都要进行grep，目前我们就是这样。在一台机器用grep还能忍，如果是多台的话确实很让人崩溃。有个系统一上线可能日志系统都是几十个G，如果查几天之前的，你说导出，可以导出几个G下载也很慢的，特别慢。log大的话，用grep和awk也非常非常的慢，很可能卡死。vi的方式直接可能把主机搞爆。

1.日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。

2.应用太多，面临数十上百台应用时你该怎么办。

3.随意登录服务器查询log对系统的稳定性及安全性肯定有影响。

4.如果使用人员对Linux不太熟练那面对庞大的日志，定位问题慢。

ELK又能给我们解决哪些问题呢？

1.日志统一收集，管理，访问，非常优化的统一化管理界面。查找问题方便安全。

2.使用简单，可以大大提高定位问题的效率

3.可以对收集起来的log进行分析

4.能够提供错误报告，监控机制

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。

LogStash

它可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解析后输出到ES中
ElasticSearch

这是一个基于Lucene的分布式全文搜索框架，可以对logs进行分布式存储，有点像hdfs。此为ELK的核心组件，日志的分析以及存储全部由es完成，因此在后面的课程中我们还会对此进行重点讲解。
Kibana

它可以多维度的展示es中的数据。这也解决了用mysql存储带来了难以可视化的问题。他提供了丰富的UI组件，简化了使用难度，数据在es中的展示是比较让人蛋疼的，后面再讲es的时候让大家看看。
目前ELK主要有两种框架：

这些都是在log日志输出规范的前提下。开发的时候规范log打印。千万不要作死的打，把磁盘的IO打爆，最后影响到系统的性能。

1.普通框架

50G以下的log，基本够用。

LogStash + ElasticSearch + Kibana

『互联网架构』理解ELK入门（118）