在Sparkr中用正则表达式模式应用withColumn函数：重新格式化DataFrame中的string列

Question

背景/概述：

我正试图将gsub函数应用于已加载到Spark中的SparkR DataFrame的列，如下所示：

dat <- read.df(sqlContext, "filepath", header='false', inferSchema='true')

dat2<-withColumn（dat,“nperiod”,gsub（“/”,“-”,dat$period））中的错误（dat,“nperiod”,gsub（“/”,“-”,dat$period））：在为函数“with column”选择方法时计算参数“col”时出错：as.character.default(x)中的错误：没有将此S4类强制为向量的方法

也许这只是因为我不知道core Spark是如何在SparkR中使用S4数据类的，但我不知道如何解释这个错误消息，也不知道如何继续解决这个问题的gsub方法。

或者，一种更简陋的方法是将mm/dd/yyyyperiode列拆分为三个单独的列。然而，即使是这样，我也在SparkR环境中苦苦挣扎。我已经创建了一个新的DF，称为separated，它由一个单独的列(period_sep)组成，period组件的行用逗号分隔，但我不完全确定这是什么数据结构，也不确定将其分成三个单独列的下一步是什么。

> separated <- selectExpr(dat, "split(period, '/') AS period_sep")
> head(separated)
    period_sep
1 01, 01, 2000
2 02, 01, 2000
3 03, 01, 2000
4 04, 01, 2000
5 05, 01, 2000
6 06, 01, 2000

如果有人对如何在这两个方向中的任何一个方向上进行有想法，或者如果有更好的方法来做到这一点，我们将非常感谢。此外，如果我似乎不理解一些潜在的Spark概念，这将有助于解释发生了什么，请随时分享任何相关信息。

编辑：html" target="_blank">添加有关尝试使用强制转换时收到的错误的信息：

当我尝试使用WithColumn将period强制转换为日期dtype时，我会得到以下错误消息：

dat2<-withColumn（dat,“nperiod”,cast（dat$period,“date”））中的错误（dat,“nperiod”,cast（dat$period,“date”））：在为函数“with column”选择方法时计算参数“col”时出错：在为函数“with column”选择方法时计算参数“x”时出错：在cast（dat$period,“date”）中出错：在为函数“cast”选择方法时计算参数“x”时出错：在column（column“选择方法时计算参数”x“时出错：在column（column）如果重新启动了SparkR，则需要重新执行Spark操作。

Answer 1

在此上下文中不能使用标准R函数，但在Spark1.6中可以使用内置的日期处理函数：

df <- createDataFrame(sqlContext, data.frame(ds=c('04/02/2015', '03/10/2014')))

dt <- cast(cast(unix_timestamp(df$ds, 'MM/dd/yyyy'), 'timestamp'), 'date')

df %>% withColumn('date', dt) %>% head()
##           ds       date
## 1 04/02/2015 2015-04-02
## 2 03/10/2014 2014-03-10