R语言plyr包——超越apply族的数据分块处理包
0. 引言
假设有一组气象数据，包括观测站点、观测日期、观测值和站点所属的省份，分别记为id.site、id.device、obs.date、obs.value、state，存储在数据框records中。
问题：求每个省每天所有站点的观测平均值
这个问题如果手写for循环来解决的话非常低效，需要结合R数据对象的向量特性，利用向量计算来解决。问题是要把数据分解为每个省，再分解为每天，然后求所有站点的观测平均值。
apply和tapply能够对数据进行分组处理，但是只能用于vector/array，apply只能从数据维度来对数据分组处理，tapply则指能对单个变量进行分组。这两个函数都比较局限。
1. plyr包
plyr包属于R base packages。该包实现了
①数据切分->②分块处理->③结果合并
这种处理逻辑，the split-apply-combine paradigm for R。首先对数据进行一个或多个变量/维度的数据分割，再对分割的各个子数据集进行一种或多种处理（在一个或多个指定字段上），最后汇聚各个子集的结果作为返回值。plyr包的优势在于其处理逻辑完整清晰，可以是单种加工处理也可以是多种，支持的待处理数据类型多，而且返回值有多种可指定的类型。对于0.引言中的问题，利用plyr包，只需要指定数据切分的省份和观测日期两个变量，和均值函数，即可得到想要的结果。
1.1 plyr包的函数
核心函数说明了该包可适用的数据处理类型和可提供的返回值类型。核心函数的命名规则如下：
XXply
第一个字母表示函数应用的对象类型，第二个字母表示函数返回值的对象类型，
字母取值有：
a: arrayl: list
d: data.frame
m: multiple inputs
r: repeat multiple times
_: nothing
包中核心函数如下，容易知道各个函数的适应对象类型和返回值类型，例如laply的参数对象为list，返回值为array；m_ply的参数对象为multiple inputs, 忽略返回值（无返回值）
aaply adply alply a_ply
daply ddply dlply d_ply
laply ldply llply l_ply
maply mdply mlply m_ply
1.2 ddply函数——核心函数使用示例
以ddply函数说明plyr的功能。
ddply(.data, .variables, .fun = NULL, ..., .progress = "none", .inform = FALSE, .drop = TRUE, .parallel = FALSE, .paropts = NULL)
上述式子中点号没有特殊含义，各个参数的含义如下：
.data: 待处理的数据框
.variables: 用来分割数据框的一个或多个列元素。此元素可以不是名义变量。当有多个变量时，按照各个变量的顺序依次递归对数据进行分组
fun: 施加在各个数据子集上的函数
...: 该函数的可选参数
(其他参数查阅R帮助文档)
对于0.引言中的问题，使用ddply解决如下
result<-ddply(records, .(state,obs.date), mean)当和plyr包中的其他辅助函数相结合时，ddply可实现对数据集的多种处理，比如summary
summarise(.data, ...)
.data 待处理的数据框
... 对数据框施加的函数，格式为var=value，其中var为计算结果，value为计算表达式。可以有多组函数，即进行多重处理。
eg. 求数据框baseball的时间跨度、球队数
summarise(baseball, duration = max(year) - min(year),
nteams = length(unique(team)))
ddply中使用summary
#求各个省份每天各个站点观测的平均值、最大值和最小值的差值
ddply(records, .(state,obs.date),summarise, daily.mean=mean(obs.value),daily.diff=max(obs.value)-miin(obs.value))2. 后记
plyr包对于R中数据的分块处理非常好用，相对于xapply系列函数，有更为宽泛的数据适用和数据分割能力，也能对分块数据进行多重处理