Apache Spark 1.4.1 发布,此版本是个维护版本,包括一些稳定性修复(DataFrame API, Spark Streaming, PySpark, Spark SQL 和 MLlib),基于 Spark 1.4 分支。强烈建议所有用户升级到最新版本,此版本贡献开发者有 85 人。
Spark 1.4.1 现已提供在 下载页面 。
SPARK-8804 : Order of UTF8String is not consistent with String if there is any non-ascii character in it
SPARK-8406 : Race condition when writing Parquet files
SPARK-8329 : DataSource options parser no longer accepts ‘_’
SPARK-8368 : ClassNotFoundException in closure for map
SPARK-8470 : MissingRequirementError for ScalaReflection on user classes
SPARK-8358 : DataFrame explode with alias and * fails
SPARK-8151 : Pipeline components should correctly implement copy
SPARK-8468 : Some metrics in RegressionEvaluator should have negative sign
SPARK-8736 : GBTRegressionModel shouldn’t threshold predictions
SPARK-8563 : IndexedRowMatrix.computeSVD() yields the U with wrong numCols
SPARK-8202 : Infinite loop during external sort
SPARK-8573 : Trigger exceptions when invalid operators are used
SPARK-8766 : Support non ASCII characters in columns
SPARK-8506 : Support for Spark packages when initializing SparkR
SPARK-8085 : Support for user defined schemas when reading from data sources
更多内容请看 发行说明 。
Apache Spark 是一种与Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
Spark 是在Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽 管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。