转载

为什么说 Storm 比 Hadoop 快？

文 | 杨晓青张云聪

“快”这个词是不明确的，专业属于点有两个层面：

1.时延，指数据从产生到运算产生结果的时间，题主的“快”应该主要指这个。

2. 吞吐，指系统单位时间处理的数据量。

首先明确一点，在消耗资源相同的情况下，一般来说storm的延时低于mapreduce。但是吞吐也低于mapreduce。

storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

说一个典型的场景，几千个日志生产方产生日志文件，需要进行一些ETL操作存入一个数据库。

假设利用hadoop，则需要先存入hdfs，按每一分钟切一个文件的粒度来算(这个粒度已经极端的细了，再小的话hdfs上会一堆小文件)，hadoop开始计算时，1分钟已经过去了，然后再开始调度任务又花了一分钟，然后作业运行起来，假设机器特别多，几钞钟就算完了，然后写数据库假设也花了很少的时间，这样，从数据产生到最后可以使用已经过去了至少两分多钟。

而流式计算则是数据产生时，则有一个程序去一直监控日志的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，处理完之后直接写入数据库，每条数据从产生到写入数据库，在资源充足时可以在毫秒级别完成。

当然，跑一个大文件的wordcount，本来就是一个批处理计算的模型，你非要把它放到storm上进行流式的处理，然后又非要让等所有已有数据处理完才让storm输出结果，这时候，你再把它和hadoop比较快慢，这时，其实比较的不是时延，而是比较的吞吐了。

storm是典型的流计算系统，mapreduce是典型的批处理系统。下面对流计算和批处理系统流程。

整个数据处理流程来说大致可以分三个阶段：

1. 数据采集与准备

2. 数据计算(涉及计算中的中间存储)，题主中的“那些方面决定”应该主要是指这个阶段处理方式。

3. 数据结果展现(反馈)

1)数据采集阶段，目前典型的处理处理策略：数据的产生系统一般出自页面打点和解析DB的log，流计算将数据采集中消息队列(比如kafaka,metaQ,timetunle)等。批处理系统一般将数据采集进分布式文件系统(比如HDFS)，当然也有使用消息队列的。我们暂且把消息队列和文件系统称为预处理存储。二者在延时和吞吐上没太大区别，接下来从这个预处理存储进入到数据计算阶段有很大的区别，流计算一般在实时的读取消息队列进入流计算系统(storm)的数据进行运算，批处理一系统一般会攒一大批后批量导入到计算系统(hadoop)，这里就有了时延的区别。

2)数据计算阶段 ，流计算系统(storm)的时延低主要有一下几个方面