只有在我的RDD中的所有分区都已处理后，如何在Spark Streaming中接收输入？

Question

假设我有一个JavaDStreamRecencer，它每秒从Spark Streaming中的TCP/IP套接字连接接收一个整数。然后我将其存储在列表中，直到我有100个整数。之后，我想将该RDD划分为4个分区，在我的电脑中每个内核一个，并在paralel中映射这些分区。所以类似于这样：

 public final class sparkstreaminggetjson {
 private static final Pattern SPACE = Pattern.compile(" ");
 private static Integer N=100;
 private static List<Integer> allInputValues= new List<Integer>();

 public static void main(String[] args) throws Exception {

  SparkConf sparkConf = new SparkConf().setMaster("local[2]").setAppName("sparkstreaminggetjson");


  JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(1));

  JavaReceiverInputDStream<Integer> receivedStream = ssc.socketTextStream(
        args[0],Integer.parseInt(args[1]), StorageLevels.MEMORY_AND_DISK_SER);

  JavaDStream<List<Integer>> storeValuesInList=receivedStream.map( // if N<100, keeps inserting integers; if N>100, inserts the new value into the List and removes the oldest value );

  JavaDStream<List<Integer>> partitionedList=storeValuesInList.repartition(4);


  JavaDStream<List<Integer>> someCalculations=partionedList.map(//some calculations)

  JavaDStream<List<Integer>> otherCalculations=someCalculations.map(//other calculations)

...

finalStream.print();

这是我的问题。我想实现一个FILO模型，在该模型中，我接收一个新输入，将其放置在RDD的第一个分区中，并从RDD的最后一个分区中删除最后一个元素。因此，基本上，我从列表中放置并轮询整数，保持原始大小。之后，我像往常一样并行处理每个分区。

这是我的问题：每当我的分区完成处理时，应用程序都会返回接收流，而不是分区列表。也就是说，我每个分区都会得到一个新的输入，这不是我想要的。我希望每个分区都被处理，然后才返回接收流以获取新的输入。

我该怎么做？我应该用其他方法来分离阶段吗？

非常感谢你。

Answer 1

据我所知，你可以使用一个窗口：每秒1个整数意味着你可以使用

JavaDstream integers = your stream;
JavaDstream hundredInt = integers.window(Seconds(100));

这样，每个RDD将有100个整数。

根据缓冲：newInt-