SPARK N-grams&不使用mapPartitions的并行化

Question

手头的问题写了一个尝试改进的双克生成器在行上工作，考虑到句号和类似的东西。结果如所愿。它不使用mapPartitions，但如下所示。

import org.apache.spark.mllib.rdd.RDDFunctions._

val wordsRdd = sc.textFile("/FileStore/tables/natew5kh1478347610918/NGram_File.txt",10)  
val wordsRDDTextSplit = wordsRdd.map(line => (line.trim.split(" "))).flatMap(x => x).map(x => (x.toLowerCase())).map(x => x.replaceAll(",{1,}","")).map(x => x.replaceAll("!
{1,}",".")).map(x => x.replaceAll("\\?{1,}",".")).map(x => x.replaceAll("\\.{1,}",".")).map(x => x.replaceAll("\\W+",".")).filter(_ != ".")filter(_ != "")  

val x = wordsRDDTextSplit.collect() // need to do this due to lazy evaluation etc. I think, need collect()
val y = for ( Array(a,b,_*) <- x.sliding(2).toArray) 
yield (a, b) 
  val z = y.filter(x => !(x._1 contains ".")).map(x => (x._1.replaceAll("\\.{1,}",""), x._2.replaceAll("\\.{1,}","")))

提前谢了。我一定是漏掉了一些基本的问题。

输出&结果z:Array[(String，String)]=Array((hello,how）,(how,are）,(are,you）,(you,today）,(i，am),(am,fine）,（fine,but）,（but,would）,（wow,about）,（about,the）,（the,cat）,（he,is）,（is,not）,（not,do）,（do,wo）,（show,we）,（show,we）,（show,we）,（show,we）,（show,we）,（he.spark.rdd.rdd[String]=MapPartitionSrdd[669]位于mapPartitionsWithIndex位于：123

分区分配res13:Array[String]=Array（hello->0,how->0,are->0,you->0,today）。->0,i->0,am->32,fine->32,but->32,would->32,like->32,to->32,talk->60,to->60,you->60,about->60,the->60,cat。->60，他->60，是->60，不是->96，做->96，所以->96，嗯。->96，什么->96，应该->122，我们->122，做。->122，请->122，救命->122，我。->122,嗨->155,there->155,ged。->155)

可能火花只是真的很聪明，比我最初想象的要聪明。也可能不是？看到了一些关于分区保存的东西，其中一些自相矛盾。

map vs mapValues意味着前者破坏了分区，从而破坏了单个分区处理？

Answer 1

您可以使用mapPartitions on来代替任何用于创建wordsRDDTextSplit的映射，但我不认为有任何理由这样做。mapPartitions在初始化成本很高、不想为RDD中的每条记录付出代价时最有用。

无论使用map还是mapPartitions来创建wordsRDDTextSplit，在创建本地数据结构x之前，滑动窗口不会对任何内容进行操作。