转载

[PDF]基于树型结构的MapReduce并行模型

基于树型结构的MapReduce并行模型

唐兵 贺海武

MapReduce是Google提出的一种分布式计算模型,已在海 量数据处理领域得到了广泛的应用,本文提出一种基于树型结构的新型MapReduce并行模型,该模型适合于利用Internet或Intranet环境 下不可靠的桌面PC资源,进行海量科学数据分析,该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式 来实现MapReduce应用层,在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实 现有效的结果合并和化简,将本文所提出的MapReduce模型与现有主流MapReduce模型进行了比较,结果表明,基于树型结构的 MapReduce并行模型在容错性能方面具有较优的性能,且系统简单,易于应用开发。

基于树型结构的MapReduce并行模型

正文到此结束
Loading...