转载

DockOne技术分享（二十三）：Docker在暴漫架构微服务化、数据平台构建中的应用

【编者的话】本次主要分享Docker在暴漫中的应用主要包括：开发环境的Service搭建，代码托管、持续集成、Docker镜像等若干Support服务、部分Microservice以及整个数据服务系统。

暴走漫画是一家文化传媒公司。公司除了有若干视频娱乐节目，还有相应的社区网站及 App。流量 UV 200w/天左右，PV 千万。为了更加有效地运营以及推荐用户个性化，2015年成立了数据部，负责暴漫的数据分析和数据挖掘相关服务。

暴漫没有自己的服务器，是使用的国内某云服务。暴漫的后端主要是基于Ruby开发。也有基于go、Python的一些Microservice。

Docker在暴漫中的应用主要包括：

开发环境的Service搭建
代码托管，持续集成，Docker镜像，等若干Support服务
部分 micro service 以及整个数据服务系统

所以今天的内容是一些中小规模以及国内云服务下的Docker实践的相关心得，主要包括在数据服务的架构及Docker化的部署。

1. 简单介绍下开发环境以及Support服务Docker应用

由于开发环境主要是Mac，也有少量Ubuntu和Windows，所以主要采用Vagrant+Docker方式。将Microservice做成 image，在 Vagrant 中起相应的container，把端口暴露给 Host（Vagrant），本地跑 Ruby（on Rails）。

Support 服务的话，其他都很简单，只有持续集成介绍下。我们用的GiLab CI。GitLab CI支持将 task 跑在Docker container 里面，所以我们为不同的项目准备不同的测试环境（image）以及外部依赖（eg. MySQL、Redis），然后在对应的Container里面跑测试。

关于部署的话，我们平时的开发在develop分支，一旦向Masters分支合并后，会触发部署的task。部署的 task 跑在特定的Container里面，这个Container共享了 Host 的docker unix sock文件，可以执行 docker build、push等命令。

关于开发环境和Support服务的Docker应用，因为不是今天的重点，并且前面也有很多朋友做过类似的介绍，所以先简单介绍到这里。

2. Microservice和数据服务系统的Docker应用

今年我们做了很多Microservice的尝试，例如消息推送，推荐系统，反垃圾系统，数据分析系统，视频抓取等等若干子系统的拆分上线。虽然过程是痛苦的，但是结果却是令人欣慰的。这些Microservice，几乎都是基于Docker的。

2.1 Rails +Docker化的Microservice

整体来说，我们是个混合的架构，Rails是正常的跑在云主机中的，Microservice跑在Docker中。为了协调好各方，我们对基础服务做了一点小小的调整。

这里不得不说说我做架构的一点心得。好的架构除了能满足业务需求，还要是与特定的团队，特定的资源所配套的。在暴漫，由于技术力量有限，开发排期满，所以我都是尽量采用“非侵入式”的方案，这在后面的数据服务的构建中也有体现。

首先，我们给所有的机器都装上了Docker。其次，我们搭建了一个 etcd集群，将所有的云主机都纳入了etcd集群。而etcd也是跑Docker里的。

为了方便的跑起来etcd，我们写了个一套bash+Python的脚本（Python 的脚本也是跑在Docker里的），然后所有的机器直接访问本机IP可以 access etcd。

这里插一句，我们没有去折腾如何让Docker跨主机组网，而是直接采用映射到 host的方式。一方面国内云主机只能这么干。另一方面，我们之前使用云主机也是单个主机特定用途的。另外，在生产环境中，我们大量的使用了shell + etcd来启动Docker container 的方式。可以给大家看个 etcd 的启动 script。这个script放到最初的机器上就可以方便地启动起来etcd 集群。

#!/bin/sh
 
 # pull pycsa docker image
 docker pull xxxx/pycsa:latest
 
 # nodes list to init the cluster
 ClusterNodes=$(docker run —rm /
 -v .:/data /
 xxxx/pycsa:latest /
 python initial-cluster.py getnodes)
 
 # get host ip
 HostIP=$(ifconfig eth0 | awk '//<inet/>/ { print $2}' | sed 's/addr://g')
 
 # get the etcd node name
 EtcdName=$(docker run —rm /
 -v .:/data /
 xxxx/pycsa:latest /
 python initial-cluster.py getname ${HostIP})
 
 # create dir structure
 EtcdData=/data/etcd/data
 mkdir -p ${EtcdData}
 
 # pull etcd docker image
 docker pull quay.io/coreos/etcd:latest
 
 # create etcd container
 docker run -d /
 -v /usr/share/ca-certificates/:/etc/ssl/certs /
 -v ${EtcdData}:/data /
 -p 4001:4001 -p 2380:2380 -p 2379:2379 /
 —name etcd quay.io/coreos/etcd:latest /
 -name ${EtcdName} /
 -data-dir /data /
 -advertise-client-urls http://${HostIP}:2379,http://${HostIP}:4001 /
 -listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 /
 -initial-advertise-peer-urls http://${HostIP}:2380 /
 -listen-peer-urls http://0.0.0.0:2380 /
 -initial-cluster-token bzetcd-cluster /
 -initial-cluster ${ClusterNodes} /
 -initial-cluster-state new

解释下，initial-cluster.py 是个Python的脚本，跑在一个pycassa的容器里，这个容器有Python环境以及相关的package这样原来的服务几乎不受任何影响，我们可以利用 etcd+Docker+Shell Script来组建新的服务。

2.2 数据服务

我们的数据服务包括数据分析和数据挖掘两大块。数据分析主要是为了给运营提供量化的效果评估以及指导。数据挖掘则包括推荐，反垃圾等。

数据服务的基础是数据流，即：数据收集->数据分发->数据处理<->数据存储。

先给大家看个整体的架构图，由于本人不擅作图，所以直接用手画的，还请见谅。。

DockOne技术分享（二十三）：Docker在暴漫架构微服务化、数据平台构建中的应用

首先数据收集部分，就像之前说的，我尽量采用“非侵入式”的方案，所以，我们的整个数据收集都是基于日志的。我们在每个应用服务器上装了logstash（跑在Docker中）来收集各个应用服务器的日志，然后打到kafka（跑在Docker 中）里，给不同的用途使用。

一份COPY 直接由Kafka一端的Logstash存储到Elasticsearch（跑在Docker中）中。一份COPY 经过Spark（跑在Docker中）Stream做实时处理（包括一些特定日志的提取），然后将处理的结果存储在 elasticsearch 里还有一份 COPY 直接存储到 HDFS（由云服务商提供）。

这里有个小问题，比如有些数据本身日志里并没有，比如用户的点击行为。这个时候，我们专门开发了一些 "ping" 接口，这些接口通过 Nginx 直接返回 200，并记录相关日志。

此外还有一部分数据，例如一些比较需要“较严格的完备”的，例如用于推荐系统，反垃圾系统学习的数据，我们存储在 SQL 数据库中下面我做些稍微详细的介绍。

2.2.1 数据分析

数据分析有两种：实时数据分析和离线数据分析。

实时数据分析从Kafka到Spark stream，处理结果进Elasticsearch，离线分析是定时任务，从 HDFS 到 Spark，处理结果进Elasticsearch。一般来说，离线的结果会逐步包含实时的结果，同时实时的结果领先于离线分析的结果。

这里的分析有些抽象，我来举个例子：

Q：统计某个板块同时在线人数的变化趋势。

A：用户每次访问都有日志，日志里包括访问内容以及用户标识。首先 spark stream 从日志里抽取出特定板块不同用户的访问事件，以秒为单位合并相同用户事件。

这就是分析结果：时间戳：人数。然后这个结果怎么用？

Elasticsearch有很强大的agg接口。你可以以1秒、10秒、1分等等各种时间间隔单位聚合这段时间内的在线人数，聚合方式用「平均」或「最大」。

2.2.2 数据挖掘

我们主要做了2个具体的数据挖掘系统：推荐+反垃圾。今天主要讲下架构。

这两个系统基本上步骤是一样的，分为2步：训练（train）和服务（serve）。

在train阶段，定时起一个spark job，从训练数据集中读取数据，学习出Model，然后将Model存储成文件。

在serve阶段，起一个带 serve 的 spark job，load 之前学习出来的model 文件进内存，然后接受外部api 调用，返回结果。

关于服务的开发这部分因为涉及到太多额外的知识，我就不多说了。这里讲个难点：Spark的Docker化。

2.2.3 Spark的Docker化

Spark的Docker化分为两个部分：

Docker化的Spark集群
Docker化的Spark调用

Spark和我们一般用的服务不太一样，它的集群不是提供运算服务的，而是一种资源费配的调度器。

让 Spark 跑 Job，其实是起的一个 Spark 的本地程序，这个本地程序会向 cluster（要资源其他机器），cluster 分配资源以后，这个 spark 程序就把一些工作放在这些资源当中运行（进程）。

所以Spark的Docker化分为两个部分。

对于Spark调用，也就是启动Spark的本地程序，我们就是在跑程序的 image 中集成Java环境，Spark程序。

对于Spark集群，稍微复杂一些。Spark 支持三种集群：Mesos、Yard还有Spark自己的一个Standalone。

我们搭建的Spark Standalone集群，这还是考虑到我们自身的资源与需求。由于没找到官方的Spark Docker image，我们自己做了一个，就是Java环境+Spark程序，然后利用script+etcd以不同的姿势（master 或 slave）在不同的云主机上启动Spark container。

官方推荐要起3个Master, 用Zookeeper做quorum，这个我们最近正在搞，还没上线，就不分享。我们现在线上跑的是 1 master + 7 slave。