转载

【R】有助于提高数据处理效率的7个包

引言

数据处理是建立预测模型时不可避免的一步。一个稳健的预测模型不是仅仅依靠机器学习算法就可以建立的，相反，它还需要依靠一定的方法，这些方法帮助人们理解商业问题，了解潜在数据集，进行必要的数据处理工作并提取出有用的商业信息。

在这些建模阶段里，大多数时间通常都被花在了解潜在数据集和进行必要数据处理上。这也是这篇文章的焦点——谈一谈R中可提高数据处理效率的包。

什么是数据处理？

如果你不清楚这个术语的含义，让我来给你解释一下它。数据处理是和数据探索一起使用的一个没有严格定义的术语。它包括用可获得的变量集“操纵”数据，以提高数据的准确性和精度。

事实上，数据收集的过程会有很多的漏洞。有各种各样不可控的因素会导致数据不精确，比如被调查者的精神状况，个人偏见，数据的读数差异或错误等。为了降低不精确程度，我们运用数据处理来(最大)可能性的增加数据精度。

这一阶段有时也被称为数据整理或数据清洗。

处理数据的不同方式

数据处理方式没有对错之分，只要你能理解数据并采取正确的方法处理数据。但通常人们在尝试进行数据处理时一般会用到以下几个宽泛的方法：

通常来说，R的初学者觉得用R内置的基础函数处理数据就很舒服。这个作为第一步很好，但是通常重复度高且耗时，因此是一个相对低效的解决问题方法。
使用专门的数据处理包。如今CRAN有超过7000个可供使用的包，这些包不过是一些事先写好的常用代码集合。他们可以帮你更快地完成重复性工作，减少编程差错并从专业人士写的代码中得到帮助（通过R的开源系统），使你的代码运行起来更加高效。这通常是数据处理中最常用的方法。
使用机器学习算法进行数据处理工作。你可以使用基于树的改进算法来处理缺失值和异常值。尽管这个方法无疑更省时，但通常它们会让你觉得对数据的理解不够，并想要找到更好的方法来认识数据。

因此，通常情况下，事实上都是使用包来进行数据处理。在这篇文章中，我将介绍几个使得R的数据处理更方便的包。

这篇文章最适宜于R语言的初学者。你可以这样安装一个包：

【R】有助于提高数据处理效率的7个包

软件包的清单

为了理解更清楚，我会通过一些常见的指令来示范如何使用它们。下面是这篇文章要讨论的几个R包：

dplyr
data.table
ggplot2
reshape2
readr
tidyr
lubridate

注：我知道ggplot2是一个用来画图的包，但是，它通常会帮助人们进行数据可视化并相应地进行处理数据工作。因此我把它加进了这个单子里。对所有包，我只写了有关数据处理的常用命令。

dplyr包

这个包是Hadley Wickham创建和维护的。它包括了（几乎）全部可以用来加快数据处理进程的内容。它最有名的是数据探索和数据转换功能。它的链式语法让它使用起来很方便。它包括5个主要的数据处理指令：

过滤——集于某一条件过滤数据
选择——选出数据集中感兴趣的列
排列——升序或降序排列数据集中的某一个值域
变换——从已有变量生成新的变量
概括（通过group_by）——提供常用的操作分析，如最小值、最大值、均值等

只需要关注这些指令便可以完成很好的数据探索工作。让我们一起逐一了解一下这些指令。我用到了两个R中内置的数据集mtcars和iris.

【R】有助于提高数据处理效率的7个包

data.table包

这个包让你可以更快地完成数据集的数据处理工作。放弃选取行或列子集的传统方法，用这个包进行数据处理。用最少的代码，你可以做最多的事。相比使用data.frame，data.table可以帮助你减少运算时间。你一定会对这个包的简洁性感到震惊。

一个数据表格包含三部分，即DT[i, j, by]。你可以理解为我们告诉R用i来选出行的子集，并计算通过by来分组的j。大多数时候，by是用于类别变量的。在下面的代码中，我用了两个数据集（airquality和iris）。

【R】有助于提高数据处理效率的7个包

ggplot2包

ggplot包展示了一个全新的色彩与图案世界。如果你是一个富有创意的人，你会非常喜欢这个包。但是如果你是想了解如何开始使用这个包，请依据下面的代码。你至少需要学会画这三个图的方法：散点图，条形图和直方图。

这三个图表涵盖了除了地图外几乎所有的数据展示类别。ggplot有丰富的自定义特征使你的数据可视化变得更好。当和其他诸如cowplot，gridExtra包一起使用时，它会变得更强大。事实上，它有很多特色指令。因此，你必须专注于几个指令并且做到精通。在下面的代码中我也展示了在同一个窗口中比较不同图表的方法。它需要gridExtra包来配合，所以你要先安装这个包。我用了R内置的数据集。

【R】有助于提高数据处理效率的7个包

reshape2包

正如这个包的名字所表示的含义，这个包对于重塑数据格式很有用。我们都知道数据会有很多不同的表现格式。因此，我们需要根据需要“驯服”它们以为己用。通常，在R中重塑数据格式非常无聊和麻烦。R基础函数中有一个Aggregation函数，用来缩减并重新排列数据为更短小的格式，但是会大大减少数据包含的信息量。Aggregation包括tapply，by和aggregate基础函数。reshape包会克服这些问题。在这里我们试着把有一样值的特征合并在一起。它有两个函数，即melt和cast。

melt: 这个函数把数据从宽格式转化为长格式。这是一种把多个类别列“融合”为一行的结构重组。我们来通过代码理解它是怎么运行的。

【R】有助于提高数据处理效率的7个包

Cast: 这个函数把数据从长格式转换为宽格式。它始于融合后的数据，然后把数据重新构造为长格式。它就是melt函数的反向操作。它包括两个函数，即，dcast和acast。dcast返回数据框作为输出结果。acast返回向量/矩阵/数组作为输出结果。让我们通过下面的代码来看看怎么用它们。

【R】有助于提高数据处理效率的7个包

readr包

正如这个包的名字所暗示的，readr用来把不同格式的数据读入R中，通过比传统方法快十倍的速度。在此，字符型变量不会被转化为因子型变量（所以不再有stringAsFactors = FALSE命令）。这个包可以代替传统的R基础函数read.csv()和read.table()。它可以用来读入以下格式的数据：