spark中字符串类型的摘要统计信息

Question

火花中有没有像“R”中那样的总结函数。

spark（MultivariateStatisticalSummary）附带的摘要计算仅对数字类型进行操作。

我对获取字符串类型的结果很感兴趣，比如前四个最大占用字符串（groupby类型的操作）、unique数等。

有没有预先存在的代码？

如果不是，请建议处理字符串类型的最佳方法。

Answer 1

我认为MLlib中没有字符串这样的东西。但如果你打算实施它，这可能是一个有价值的贡献。

计算这些指标中的一个很容易。例如，按频率排列的前4名：

def top4(rdd: org.apache.spark.rdd.RDD[String]) =
  rdd
    .map(s => (s, 1))
    .reduceByKey(_ + _)
    .map { case (s, count) => (count, s) }
    .top(4)
    .map { case (count, s) => s }

或Unique的数量：

def numUnique(rdd: org.apache.spark.rdd.RDD[String]) =
  rdd.distinct.count

但是在一次传递中对所有指标执行此操作需要更多的工作。

这些示例假设，如果您有多个数据“列”，那么您已经将每一列拆分为一个单独的RDD。这是一种组织数据的好方法，对于执行洗牌的操作来说是必要的。

我所说的分栏是指：

def split(together: RDD[(Long, Seq[String])],
          columns: Int): Seq[RDD[(Long, String)]] = {
  together.cache // We will do N passes over this RDD.
  (0 until columns).map {
    i => together.mapValues(s => s(i))
  }
}