转载

新型Docker日志管理工具：SPM

【编者的话】本文介绍了一个新的工具SPM，它用于解决在多容器环境下日志管理所遇到的问题，同时它整合了多种功能，避免了以往需要安装多种工具的麻烦，配合Kibana的展示功能，使得该工具还是值得一试的。

在微服务流行的今天，日志路由和解析的传统静态配置方法已经有点吃力；事实上，它还带来了额外的复杂度和资源消耗。相对的，这使得不能运行在单机上的微服务的数量降低了。

在 SPM for Docker 整合的日志管理功能中，对微服务进行了支持，方式为降低安装复杂度、启动时间和最小化占用资源。 SPM Agent for Docker 汇集了标准、事件和日志，并且它运行在每一个Docker宿主机中的一个容器。除了标准的日志收集功能，我们最近还整合了自动日志格式探测功能和容器日志信息的值域抽取。这个过程被嵌入在Docker API数据流中，日志被收集起来送给统一日志索引工具-- Logsene 。这就意味着并没有为Docker日志驱动配置syslog，也没有路由到Logstash中去解析，并且也没有Elasticsearch来维持这些日志，甚至是连Kibana也不需要。SPM for Docker和Logsene将为你处理好这一切。

有很多方法从Docker中收集日志(你可以阅读我们的另一篇文章： Docker Logging Webinar )；下面来介绍使用Logsene处理Docker日志的优点。

对于新手来说，我们从这几方面来了解日志管理功能：

配置 - SPM for Docker中日志的配置
自动格式探测和容器日志解析
规则的相关性
日志的报警检测和异常检测
Logsene和 Kibana 的可视化
从UI中、命令行中搜索日志并用UNIX工具处理日志

1. 配置 - SPM for Docker中日志的配置

首先，我们使SPM for Docker获取Docker事件和Docker 标注的日志非常的渐变。在安装方面没什么好说的，只需要增加 -e LOGSENE_TOKEN=your-logsene-token 到SPM Docker Agent的Docker run的命令中，然后你就可以获取Docker容器的全部日志并放入Logsene。就这么简单！

并不是所有的日志都有对我们有用，这就是为什么我们提供了一个通过镜像名或者容器名的白名单或者黑名单来控制日志输出。相关的参数如下：

-e MATCH_BY_NAME – 容器名白名单的正则表达式
-e MATCH_BY_IMAGE - 镜像名白名单的正则表达式
-e SKIP_BY_NAME – 容器名黑名单的正则表达式
-e SKIP_BY_IMAGE - 镜像名黑名单的正则表达式
-v PATH_TO_YOUR_FILE:/etc/logagent/patterns.yml – 可选，自定义日志解析

一个筹集Metrics、Events和Logs的例子：

docker run --name spm-agent /

-e HOSTNAME=$HOSTNAME /

-e SPM_TOKEN=YOUR_SPM_TOKEN /

-e LOGSENE_TOKEN=YOUR_LOGSENE_TOKEN /

-e MATCH_BY_IMAGE=”nginx|mysql|mongodb|myapp” /

-v /var/run/docker.sock:/var/run/docker.sock /

sematext/spm-agent-docker

2. 容器日志自动解析

Docker日志是容器们的终端输出流。这些数据中混合着来自启动脚本的文本信息和来自应用的结构化日志。问题很明显，并不能直接对日志事件流进行直接处理。需要区分出哪些日志来自哪个容器、应用，并正确的解析。

SPM for Docker分析了行格式，并将其转换为JSON格式，使得所有的值域可见，并且从文本日志中抽取属性域。过去，通常需要使用日志处理工具，如Logstash、Fluentd或者rsyslog来处理日志信息，但是这些的配置是根据输入源来静态配置。 这就不能够适应动态微服务的环境。 有些人已经对syslog驱动、解析器配置、日志路由甚至其他部分做了更改。这就是为什么我们要整合自动格式检测到SPM中的原因，利用logagent-js来处理文本。这个整合的footprint很少，并不需要将日志导到外部服务，并且它为流行的应用进行日志格式探测，并生成JSON和以行为单位的日志输出。下图为由Docker Agent生成的Apache Access日志域值。

新型Docker日志管理工具：SPM