在映射（）中使用筛选器（）时引发异常

Question

我试图在map（）中使用filter（），但我得到了这个火花异常：

RDD转换和操作只能由驱动程序调用，不能在其他转换内部调用；例如，rdd1。地图（x）=

我知道火花不允许嵌套转换/动作/RDD，所以有人可以给我一个建议，如何替代它（没有嵌套转换或动作），我有一个RDD它的元组是这样的：

 JavaRDD< String[]> RDD

我试着映射它，给它一个列表作为参数，这个列表包含javaPairRDD这样的：

List<JavaPairRDD<String,String>> list
JavaRDD< String[]> result = RDD.map(new modifyRDD(list));

这些行指的是修改RDD（）函数：

public static class modifyRDD implements Function <String[], String[]> { 

    List<JavaPairRDD<String,String>> list;
    public modifyRDD (List<JavaPairRDD<String,String>> list ){ this.list=list;}

    public String [] call(String[] t) {

          String[] s = t;

          for (int i = 0; i < NB_TD; i++) {         
            int j=i; 
         // select the appropriate RDD from the RDDs_list to the current index 

            JavaPairRDD<String,String> rdd_i = list.get(i);
            String previousElement=s[j];

           JavaPairRDD<String,String> currentRDD =  rdd_i.filter(line -> line._1().equals(previousElement));

           String newElement=currentRDD.first()._2();   

           s[j]=newElement;
                }

          return   (s) ;

    }


    }

所以，问题就在这方面

  JavaPairRDD<String,String> currentRDD =  rdd_i.filter(line -> line._1().equals(previousElement));

现在我给出一个例子，假设列表包含2对RRDD

list={PairRDD1={(a,b)(c,d)},PairRDD2={(u,v)(x,y)}..}

我想映射的RDD包含：

 JavaRDD< String[]> RDD = {[a,u],[c,x],[a,x].....}

我想要的结果是map（）后：

 JavaRDD< String[]> result = {[b,v],[d,y],[b,y].....}

Answer 1

我改变了列表的类型

这是修改后的map（）函数

  public static class modifyRDD implements Function <String[], String[]> { 

    List<List<Tuple2<String,String>>> list;
    public modifyRDD (List<List<Tuple2<String,String>>> list ){ this.list=list;}

    public String [] call(String[] t) {

          String[] s = t;

          for (int i = 0; i < NB_TD; i++) {         

         // select the appropriate lookup_list 

            List<Tuple2<String,String>> list_i = list.get(i);
            String previousElement=s[i];
            String newElement="";

            for (int k = 0; k < list_i.size(); k++){

            Tuple2<String,String> sk1 = list_i.get(k);
            if (sk1._1.equals( previousElement)){  newElement=sk1._2;}

            }


           s[i]= newElement;
                }
         return(s);
                                   }