转载

【论文笔记】SparkNET: 用Spark训练深度神经网络

SparkNet: Training Deep Network in Spark

原文是：《SparkNet: Training Deep Network in Spark 》

本博客是该论文的阅读笔记，不免有很多细节不对之处。

还望各位看官能够见谅，欢迎批评指正。

更多相关博客请猛戳： http://blog.csdn.net/cyh_24

如需转载，请附上本文链接： http://blog.csdn.net/cyh_24/article/details/50414568

这篇论文是 Berkeley 大学 Michael I. Jordan 组的 ICLR2016(under review) 的最新论文，有兴趣可以看看原文和源码： paper ， github .

训练深度神经网络是一个非常耗时的过程，比如用卷积神经网络去训练一个目标识别任务需要好几天来训练。因此，充分利用集群的资源，加快训练速度成了一个非常重要的领域。不过，当前非常热门的批处理计算架构（例如：MapReduce 和 Spark）都不是设计用来专门支持异步计算和现有的一些通信密集型的深度学习系统。

SparkNet 是基于Spark的深度神经网络架构，

它提供了便捷的接口能够去访问Spark RDDs；
同时提供Scala接口去调用caffe；
还拥有一个轻量级的tensor 库；
使用了一个简单的并行机制来实现SGD的并行化，使得SparkNet能够很好的适应集群的大小并且能够容忍极高的通信延时；
它易于部署，并且不需要对参数进行调整；
它还能很好的兼容现有的caffe模型；

下面这张图是SparkNet的架构：

【论文笔记】SparkNET: 用Spark训练深度神经网络

从上图可以看出，Master 向每个worker 分发任务之后，各个worker都单独的使用Caffe（利用GPU）来进行训练。每个worker完成任务之后，把参数传回Master。论文用了5个节点的EC2集群，broadcast 和 collect 参数（每个worker几百M），耗时20秒，而一个minibatch的计算时间是2秒。

Implementation

SparkNet 是建立在 Apache Spark 和Caffe深度学习库的基础之上的。SparkNet 用 Java 来访问Caffe的数据，用Scala来访问Caffe的参数，用ScalaBuff来使得Caffe网络在运行时保持动态结构。SparkNet能够兼容Caffe的一些模型定义文件，并且支持Caffe模型参数的载入。

下面简单贴一下SparkNet的api和模型定义、模型训练代码。
【论文笔记】SparkNET: 用Spark训练深度神经网络

并行化的SGD

为了让模型能够在带宽受限的环境下也能运行得很好，论文提出了一种SGD的并行化机制使得最大幅度减小通信，这也是全文最大了亮点。这个方法也不是只针对SGD，实际上对Caffe的各种优化求解方法都有效。

在将SparkNet的并行化机制之前，先介绍一种Naive的并行机制。

Naive SGD Parallelization

Spark拥有一个master节点和一些worker节点。数据分散在各个worker中的。
在每一次的迭代中，Spark master节点都会通过broadcast（广播）的方式，把模型参数传到各个worker节点中。
各个worker节点在自己分到的部分数据，在同一个模型上跑一个minibatch 的SGD。
完成之后，各个worker把训练的模型参数再发送回master，master将这些参数进行一个平均操作，作为新的（下一次迭代）的模型参数。

这是很多人都会采用的方法，看上去很对，不过它有一些缺陷。

Naive 并行化的缺陷

这个缺陷就是需要消耗太多的通信带宽，因为每一次minibatch训练都要broadcast 和 collect 一次，而这个过程特别消耗时间（20秒左右）。

令 N a ( b ) 表示，在batch-size为 b 的情况下，到达准确率 a 所需要的迭代次数。
令 C ( b ) 表示，在batch-size 为 b 的情况下，SGD训练一个batch的训练时间（约2秒）。
显然，使用SGD达到准确率为 a 所需要的时间消耗是：

N a ( b ) C ( b )

假设有 K 个机器，通信（broadcast 和 collect）的时间为 S ，那么Naive 并行 SGD
的时间消耗就是：

N a ( b ) ( C ( b ) / K + S )

SparkNet 的并行化机制

基本上过程和Naive 并行化差不多。唯一的区别在于，各个worker节点每次不再只跑一个迭代，而是在自己分到的一个minibatch数据集上，迭代多次，迭代次数是一个固定值 τ 。

SparkNet的并行机制是分好几个rounds来跑的。在每一个round中，每个机器都在batch size为 b 的数据集上跑 τ 次迭代。没一个round结束，再把参数汇总到master进行平均等处理。

我们用 M a ( b , K , τ ) 表示达到准确率 a 所需要的 round 次数。
因此，SparkNet需要的时间消耗就是：

M a ( b , K , τ ) ∗ ( τ C ( b ) + S )

下面这张图，很直观的对比了Naive 并行机制跟 SparkNet 并行机制的区别：
Naive 并行机制：

【论文笔记】SparkNET: 用Spark训练深度神经网络

SparkNet 并行机制：

【论文笔记】SparkNET: 用Spark训练深度神经网络

论文还做了各种对比实验，包括时间，准确率等。实验模型采用AlexNet，数据集是ImageNet的子集（100类，每类1000张）。

假设 S = 0 ，那么 τ M a ( b , K , τ ) / N a ( b ) 就是SparkNet的加速倍数。论文通过改变 τ 和 K 得出了下面的表格（使准确率达到20%的耗时情况）：

【论文笔记】SparkNET: 用Spark训练深度神经网络

上面的表格还是体现了一些趋势的:
(1). 看第一行，当 K = 1 ，因为只有一个worker节点，所以异步计算的 τ 这时并没有起到什么作用，可以看到第一行基本的值基本都是接近1.
(2). 看最右边这列，当 τ = 1 ，这其实就相当于是Naive 并行机制，只不过，Naive的batch是 b / K ，这里是 b . 这一列基本上是跟 K 成正比。
(3). 注意到每一行的值并不是从左到右一直递增的。