用这个简单的例子Spark vs Hadoop？

Question

 val text = sc.textFile("mytextfile.txt") 
 val counts = text.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) 
 counts.collect

在火花的情况下，一旦行被“”拆分，输出将存储在内存中。与函数map和reduce类似。我相信在跨分区进行处理时也是如此。

在MapReduce的情况下，每个中间结果（比如split/map/reduce之后的单词）是否会保存在磁盘上，即HDFS，这使得它比Spark慢？我们没办法把它们留在记忆中？分区结果的情况也一样？

Answer 1

是的，你是对的。

SPARK中间RDD（弹性分布式数据集）结果保存在内存中，因此延迟要低得多，作业吞吐量更高。RDDs有分区，像SPARK先生一样的数据块也提供了迭代处理，这也是需要考虑的关键点。

当然，先生确实有一个组合器来减轻一点痛苦。