Apache Spark 1.4 发布，开源集群计算系统
6月14日上海 OSC 源创会开始报名，送机械键盘和开源无码内裤
Apache Spark 1.4 发布，该版本将 R API 引入 Spark，同时提升了 Spark 的核心引擎和 MLlib ，以及 Spark Streaming 的可用性。部分重要更新如下：
Spark Core
Spark core 有多各方面的改进，主要集中在操作，性能和兼容性上：
-
SPARK-6942 : Visualization for Spark DAGs and operational monitoring
-
SPARK-4897 : Python 3 support
-
SPARK-3644 : A REST API for application information
-
SPARK-4550 : Serialized shuffle outputs for improved performance
-
SPARK-7081 : Initial performance improvements in project Tungsten
-
SPARK-3074 : External spilling for Python groupByKey operations
-
SPARK-3674 : YARN support for Spark EC2 and SPARK-5342 : Security for long running YARN applications
-
SPARK-2691 : Docker support in Mesos and SPARK-6338 : Cluster mode in Mesos
更多内容请查看 发行说明 。
Spark 1.4下载请点这里： downloads 。
Apache Spark 是一种与Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽 管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。
正文到此结束
热门推荐
相关文章
近期评论
-
666
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
