转载

如何在 Rancher 中统一管理容器日志

原文来源： Rancher Labs

相信大家对于容器和 docker 这个概念并不陌生，很高兴的是 docker 为我们提供了多种log-driver。

我们在使用 docker 处理日志的时候多数是采用 docker logs <container>命令，因为 docker 默认采用的 log-driver 是 json-file，所以 docker 会捕捉每一个容器进程 STDOUTS 和 STDERR，保存在磁盘文件.json.log 中供 docker logs 命令查询。

上述方式如果用于开发过程中的调试工作，是种快速且不错的方案，但是如果面对大规模应用部署的环境下那么日志的跟踪与调试带来的困扰显而易见，因此我们需要一个统一集中的容器日志收集与展示平台。

对于容器日志收集与展示，syslog + rsyslog + ELK(ElasticSearch、Logstash、Kibana)是一个不错的技术方案，我将简单介绍下为什么我们选用这种方案。

Syslog 是一种 RFC 协议，与平台无关，且是 UNIX 标准的日志解决方案，集成度良好。rsyslog 顾名思义是 remote 的意思，使 syslog 具备收集远端日志的功能，由于 logstash 采用 java 和 jruby开发，所以 logstash 文件库中可以加入 windows 日志文件。而 logspout 暂不支持容器-t(tty) 启动。

我们庆幸的是 Rancher 的 Catalog 真的很强大，Rancher Catalog 已经为我们提供了 ELK 的Catalog，下面我将给出 ELK 在 Rancher 中的部署视图，并简单介绍下视图中每个组件都是干什么的。

logstash-collector：用于接收 docker container 发送过来的日志信息，并将日志信息发送到redis 队列中。在 rancher 中默认开启 TCP:6000 UDP:5000 端口用于侦听发送过来的日志报文。
redis：日志消息队列。
logstash-indexer：用于接收redis中未处理的日志信息，然后将该日志消息发送到elasticsearsh中进行存储及搜索分析。
kopf：elasticsearch 的一款第三方插件，提供一个简单的管理员 web 界面。
elasticsearch-clients：用于处理路由请求，协调数据节点与主节点。
elasticsearch-master：用于集群操作相关的内容。
elasticsearch-datanode: 用于存储索引数据的节点。

上述部署视图中说好的 Kibana 哪儿去了?

因为我们有自己的日志展现平台，所以这里去掉了 kibana，如果你想在 Rancher 中使用 Kibana做日志前端展现，那么很简单，只需要利用 Rancher 的 Catalog，service link:Rancher 环境中上述已经部署好的 elasticsearch-client 即可。

至此，在 Rancher 中如何部署一套完整 ELK 系统已经介绍完了，下面我将介绍如何将容器日志发送到 ELK 中。