八大工具，透析Python数据生态圈最新趋势！

出处： 小象

我们前一阵子参加了在旧金山举办的Dato数据科学峰会。来自业界和学界的千余名数据科学研究人员在大会上对数据科学、机器学习和预测应用方面的最新发展进行了交流和探讨。

以下是大会中讨论的数据科学家在未来可能使用的八个Python工具。

峰会上的一个重磅消息是Dato将在BSD协议下开源SFrame和SGraph。SFrame（Scaleable Data Frame）是一个为大数据处理优化内存和性能的数据框（DataFrame）结构。SGraph是一个类似的概念，但代表的不是数据框而是图。这两个数据结构的好处是即便数据量太大难以全部加载到内存中，数据科学家依然可以进行分析。

这一消息无论对Dato还是对Python社区来说都是一个分水岭。它显示了Dato对支持开源Python数据生态圈的诚意。在此之前有一种认识就是Dato提供的免费版本只是将数据科学家捆绑在自家的平台最终还是得收费，因为Dato确实有自己的商业产品。但从这次开源我们看到Dato并不打算耍这种小把戏。我们也希望其他开发者（没错，Pandas说的就是你）能够抛开收费的顾虑来使用SFrame和SGraph以便打破内存的限制。

Bokeh是一个不需服务器就可以在浏览器中实现互动可视化的Python库。它可以处理非常大的数据集而且速度很快也能嵌入在网页当中。想要快速方便地创建互动图表和数据应用的话这个库非常有用。

Bokeh对处理大型数据集时的性能问题着墨颇多。还有另外一点就是开发这些互动图表只需要Python一种语言即可。

Dask是一款主要针对单机的Python调度工具。它能帮助你将数据分成块并负责并行处理的调度工作。Dask是用纯Python写成的，它自己也使用了一些开源的Python库。

Dask有两种用法：普通用户主要使用Dask提供的集合类型，用法就和NumPy跟Pandas的差不多，但Dask内部会生成任务图。Dask开发人员则可以直接与Dask任务图打交道因为Dask任务图并不依赖于它提供的集合类型。

现在Python生态圈中有很多库看起来功能都差不多比如说Blaze、Dask和Numba，但其实应该用在数据处理的不同层面上，做一个类比的话Blaze就相当于数据库中的查询优化器，而Dask则相当于执行查询的引擎。

如果你是一名数据科学家的话你可能每天都会用到Python。Python是非常不错，但也不是完全没有问题。它最大的问题是处理大型数据集的时候会有点力不从心。这时候你可能会采用采样的方法来解决数据集的规模问题，但仅仅采样肯定会多多少少影响到你的研究结果。

Ibis是Cloudera Labs推出的一个新项目，目前还是预览版。它试图解决的就是数据集规模的问题，但对用户提供的确是单机上Python的体验，而且能够与现有的Python数据生态圈（Pandas、Scikit-learn、Numpy）进行集成。未来它还计划加入与机器学习和高级分析集成的功能。

抓取网页数据的时候通常会碰到大量的JavaScript，而网页抓取工具又不能很好地执行JavaScript，所以最后很可能只拿到了原始的Html数据。Splash是由网页数据抓取的鼻祖ScrapingHub所推出的JavaScript渲染服务。它由Python写成，使用了Twisted和Qt。你可以把它当成是一个轻量级的浏览器，但它可以并行处理多个网页并执行JavaScript，它也可以关闭图片以便提高渲染速度。

Petuum是专为解决大规模机器学习问题而开发的一款分布式机器学习框架。它提供了解决大规模机器学习中数据集太大和参数太大问题的分布式编程工具，而且可以利用数据的各种统计学特性来进行性能优化。

Petuum提供了两个主要的平台：Bösen，一个为数据并行机器学习算法设计的键值仓库；Strads，一个为模型并行机器学习算法而设计的调度工具。数据并行和模型并行在现代机器学习算法中都有出现，所以Petuum就针对这两种方法提供了两种平台。

Flink是一个开源的批处理和流处理数据平台。Flink的核心是一个提供了数据分发、通信和容错功能的流数据处理引擎。它设计的主要目标之一是替代Hadoop的MapReduce功能，这就造成它和Aphache Spark非常相像。

虽然API很像，但两者处理数据的方式有着很大差别。Spark处理数据流时其实进行的是批处理，所以其实只是流处理的一个近似。平常是没有问题的，但如果对延迟的要求高的话Spark就会比较慢或者出错。Flink则是一个可以进行批处理的流处理框架。

在网页上显示一个数据展板是与人分享数据科学发现的最直观方法。对R语言来说有Shiny来简化数据科学家开发网页的工作，而Pyxley就相当于Python版的Shiny。使用Pyxley不光不用写HTML、CSS，你还可以加入自己的JavaScript来进行定制。

译者：刘旭坤