转载

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案

也许你对Fluentd的统一日志记录层已经有所耳闻。可能你对日志是流不是文件这个概念也已经很熟悉，所以现在就让我们用这个方法来思考日志层。

事实上，最后导致决定性的一点就是fluentd是如何被配置的。全部都是关于我们如何处理stream的不同元素的：我们从哪里得到数据，当我们获取到的时候用它来做什么，我们将处理过的数据发送到哪里，以及它们在发送过程中的时候，我们要如何处理它。在这篇博客中，我们会回顾一下这些概念，并且将他们运用到以下案例中：

1、日志从Docker容器中输出命令（但是当容器中止的时候，要保持配置）

2、处理JSON日志

3、通过等级将信息进行分类

4、将数据流分离到两个目的地

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案

事实证明，谷歌云平台和Kubernetes默认设置下已经包括了fluentd日志层输出，这样的话，你就可以精确地做这些事情，但是首先，让我们来看一下fluentd.conf文件中的指令：

1、source指令确定输入源

2、match指令确定输出目的地

3、filter指令确定event处理管道

4、system指令设置系统范围的配置

5、label指令将内部路由的输出和过滤器分组

6、@include指令包括其他文件

基本方案（用于日志记录Docker标准输出命令）

现在对于我们的目标来说，我们主要会考虑source和match指令。以下是一个样本，为日志记录命令配置，命令是从一个容器直接到Treasure Data（而且，因为我们的配置是在Ubuntu主机上，所以它不会和Docker容器一起中止！）。

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案

那么，发生了什么呢？

我们的source指令告诉我们正在使用forwardinput plugin，这就告诉fluentd要监听TCP socket来接收event流。

我们有两个match指令。当我们启动容器的时候，最后一个假定我们已经设置了我们的日志记录选项：

－－log－opt fluentd－tag＝td.docker.{{.Name}}

这条指令告诉我们使用标准输出plugin来打印events到标准输出。

然而，它不仅第一条指令，也是最有趣的一条。现在假定一样的日志记录选项，我们将所有标记有td. . 的东西都匹配好，并且使用td日志output plugin，将每个console输出作为单个记录输出，发送到一个名为docker的Treasure Data数据库，在这里，表格也同样是Docker容器的名字：

auto_create_table在第一个实例上创建表格。

buffer_type file将缓冲区写入一个文件。

buffer_path在我们的Docker容器上指定缓冲文件路径。

flush_interval 5s在刷新缓冲区时设置了一个5秒的间隔，并且写进了Treasure Data表格。

是不是开始明白这是怎么运作的了？想要了解更多关于fluentd配置和参数，点击这里查看更多文章: http://docs.fluentd.org/articles/config-file

日志记录结果到谷歌云平台

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案

准备好查看fluentd是怎么用谷歌云平台来运行的了吗？让我们来看一些不一样的场景。多亏了Kubernetes团队，使得这些配置（以及跟这些很相似的配置）在github上实现可用。

处理JSON日志

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案

在这里，我们跟踪JSON上的日志，并将日志记录结果到Kubernetes上。我们要处理一下时间戳，所以我们已经包括了time_key和time_format指令。最后，我们用Kubernetes和适当的独特后缀来标注数据流。我们同样也已经指定位置文件，并且设置read_from_head为真。这就使得我们要停止并且重启处理if，由于某些原因，我们的stream就被打断了。

通过不同的层面来分类信息

Fluentd，Kubernetes和谷歌云平台——处理日志流的解决方案