火花流式DStream元素与RDD

Question

本质上，我想对dStream中的每个元素应用一组函数。目前，我正在为pyspark.streaming.dstream使用“map”函数。根据文档，我的方法似乎是正确的。http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html#pyspark.streaming.dstream

map（f,preservesPartitioning=false）通过对DStream的每个元素应用一个函数来返回一个新的DStream。

我应该使用map，还是正确的方法是将函数/转换应用于RDDs（因为DStream使用RDD）？？

更多文档：http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html

Answer 1

DirectStream.map是正确的选择。以下映射:

stream.map(f)

相当于：

stream.transform(lambda rdd: rdd.map(f))

另一方面，DirectStream.foreachrdd是一个输出操作，并创建一个输出dstream。与foreachrdd一起使用的函数不应返回任何内容，与方法本身相同。看一下Scala签名就会很明显：

def foreachRDD(foreachFunc: RDD[T] => Unit): Unit