转载

easyLambda —— C++ 的 MPI 和数据处理框架

easyLambda 是一个 C++ 的 MPI 和数据处理框架。该项目旨在满足使用 C++ 进行标准化的数据处理。设计的目标是可组合、易用接口、去耦合 I/O，算法逻辑无需关注数据格式和并行处理代码，减少样板代码数量。可方便的处理类型安全的数据流管道，MapReduce 操作，MPI 并行计算等等。

easyLambda 使用 ezl 来编写数据处理任务，下面是一个示例的 ezl 任务：

ezl::rise(ezl::kick(10000)) // 10000 trials in total   .map([] {      auto x = rand01();     auto y = rand01();     return x*x + y*y;    })   .filter(ezl::lt(1.))   .reduce(ezl::count(), 0)   .map([](int inCircleCount) {      return (4.0 * inCircleCount / 10000);    }).colsTransform().dump()   .run();

并行计算模型：

性能测试结果：

easyLambda —— C++ 的 MPI 和数据处理框架

数据流：

easyLambda —— C++ 的 MPI 和数据处理框架

要求：

c++14 兼容的编译器和 MPI (mpic++/mpicxx 和 mpirun)

支持 gcc-5.1 和 clang-3.5 或者更新版本
在 gcc-5.3, gcc-6.0(dev. branch), Apple LLVM version 7.0.0 (clang-700.0.72) 下测试通过

boost::mpi, boost::serialization 测试通过的版本是 5.8 和 6.0.

MPI 是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。

主要的MPI-1模型不包括共享内存概念，MPI-2只有有限的分布共享内存概念。但是MPI程序经常在共享内存的机器上运行。在MPI模型周边设计程序比在NUMA架构下设计要好因为MPI鼓励内存本地化。

尽管MPI属于OSI参考模型的第五层或者更高，他的实现可能通过传输层的sockets和Transmission Control Protocol (TCP)覆盖大部分的层。大部分的MPI实现由一些指定惯例集（API）组成，可由C,C++,Fortran,或者有此类库的语言比如C#, Java or Python直接调用。MPI优于老式信息传递库是因为他的可移植性和速度。

下面是一个用于统计单词数量的示例代码：

#include <string>  #include <boost/mpi.hpp>  #include "ezl/ezl.hpp" #include "ezl/algorithms/readFile.hpp" #include "ezl/algorithms/reduces.hpp"  int main(int argc, char* argv[]) {   using std::string;   using ezl::readFile;   boost::mpi::environment env(argc, argv);    ezl::rise(readFile<string>(argv[1]).rowSeparator('s').colSeparator(""))     .reduce<1>(ezl::count(), 0).dump()     .run();   return 0; }

原文 http://www.oschina.net/p/easylambda?fromerr=ZfKQoExg

正文到此结束