Spark Streaming-windows（）是否缓存DStreams？

Question

有人能解释一下Spark Streaming是如何执行window（）操作的吗？从Spark 1.6.1文档来看，窗口批处理似乎会自动缓存在内存中，但从web UI来看，似乎会再次执行以前批处理中已执行的操作。为方便起见，我在下面附上了我正在运行的应用程序的屏幕截图：

通过查看webUI，看起来好像是在缓存的是194 MapValures（）RDD（绿点-这是我在DStream上调用windows（）之前执行的最后一个操作），但是，与此同时，看起来也会再次执行之前批次中所有导致了194 MapValures（）的转换。如果是这种情况，windows（）操作可能会诱发巨大的性能损失，特别是如果窗口持续时间是1或2小时（正如我对我的应用程序所期望的那样）。你认为当时对DStream进行检查点会有所帮助吗？考虑一下预期的滑动窗口大约是5分钟。

希望有人能澄清这一点。

我添加了一个代码片段。Stream1和Stream2是从HDFS读取的数据馈送

JavaPairDStream<String, String> stream1 = cdr_orig.mapToPair(parserFunc)
                                                 .flatMapValues(new Function<String, Iterable<String>>() {
                                                   @Override
                                                   public Iterable<String> call(String s) {
                                                     return Arrays.asList(s.split(","));
                                                   }
                                                 }).window(Durations.seconds(WINDOW_DURATION), Durations.seconds(SLIDE_DURATION));


JavaPairDStream<String, String> join = stream2.join(stream1);

这两个流由另一个系统定期生成。这些流是异步的，这意味着时间t的stream 2中的记录出现在时间t的stream 1中。

Answer 1

首先，yes window（）通过对数据流调用persist来缓存它。这里的缓存是指数据保存在内存中。默认存储级别为StorageLevel。MEMORY\u ONLY\u SER，即。

将RDD存储为序列化Java对象（每个分区一个字节数组）。这通常比反序列化对象更节省空间，尤其是在使用快速序列化程序时，但读取起来更占用CPU。

窗口转换所做的是返回一个新的数据流，其中每个RDD包含在该数据流上的滑动时间窗口中看到的所有元素。在内部，它创建了一个WindowedDStream对象，该对象调用persist（）来缓存数据流，根据Spark API文档，“它默认在父级持久化，因为这些RDD显然将被重用。”

所以，您不能依赖Window来缓存数据流。如果要减少转换，应该在转换之前和其他转换之前对该数据流调用persist（）。

在您的情况下，请尝试调用persist，如图所示：

cdr_orig.persist(StorageLevel.MEMORY_AND_DISK);

在进行mapToPair变换之前。您将看到一个更紧凑的DAG将在顶部形成绿色圆点。