转载

发表于 2015年02月23日
浏览 (701)
评论 (0)

Google开源C/C++版MapReduce框架

Google开源C/C++版MapReduce框架据GigaOM 消息，Google上周宣布，将自己用C++开发的MapReduce框架 MapReduce for C（MR4C）开源，此举可给Hadoop社区带来福音，因为这样用户就可以在自己的Hadoop环境中运行原生的C及C++代码了。

Hadoop是许多大数据应用的基础，它是由Apache基金会所开发的分布式系统基础架构，主要由分布式文件系统HDFS和计算框架MapReduce组成。由于原先的MapReduce是用Java编写的，与C++相比，在性能上要略逊一筹。因此，许多处理大规模数据集的软件公司都开发了自己的专有系统来在MapReduce框架之内执行其原生代码。Facebook的HipHop（将PHP转换为C++）以及MemSQL执行前将SQL转为C++代码也都是出于同样的性能考虑。

Google开源C/C++版MapReduce框架 MR4C原先由卫星影像公司Skybox Imaging开发，目的是为了优化其地理空间数据及计算机视觉代码库。MR4C围绕着几个简单概念开发而成，其目标是将MapReduce的重要细节抽象化，允许用户专注于开发有价值的算法。去年6月，Google收购了Skybox。半年之后的现在，又将MR4C开源出来。这对于没有能力开发专有系统或者对Java不感冒的开发者来说无疑是一个福音。

当然，MR4C的受欢迎程度仍有待观察。因为在数据处理方面，Apache Spark是一个速度比Mapreduce更快的框架，它支持Scala、Python和Java（但不支持C/C++），已经引起了开发社区极大的兴趣。

[消息来源： gigaom.com , google-opensource.blogspot.com ]

正文到此结束

所属分类：编程技术

本文标签： Hadoop UI 软件 PHP 基金空间 apache map 代码 java sql Google apr 大数据开源 HDFS Facebook 数据开发 ip 开发者快的
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(13,741) 评论(0)
Caffe 深度学习框架上手教程

浏览(10,454) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(11,287) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(11,195) 评论(0)
Decorators in ES7

浏览(15,738) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,761) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(12,214) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(11,177) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(25,455) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(13,314) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG