其他RDD中的Java Spark RDD？

Question

我尝试创建一个JavaRDD，其中包含另一系列RDD。

RDD机器。foreach（机器-

第一：有没有可能这样做？如果没有，我可以用什么方式尝试做一些不同的事情？

让我展示一下我尝试做的事情：

        SparkConf conf = new SparkConf().setAppName("Algo").setMaster("local");
    conf.set("es.index.auto.create", "true");
    conf.set("es.nodes", "IP_ES");
    conf.set("es.port", "9200");
    sparkContext = new JavaSparkContext(conf);

    MyAlgoConfig config_algo = new MyAlgoConfig(Detection.byPrevisionMerge);

    Machine m1 = new Machine("AL-27", "IP1", config_algo);
    Machine m2 = new Machine("AL-20", "IP2", config_algo);
    Machine m3 = new Machine("AL-24", "IP3", config_algo);
    Machine m4 = new Machine("AL-21", "IP4", config_algo);

    ArrayList<Machine> Machines = new ArrayList();
    Machines.add(m1);
    Machines.add(m2);
    Machines.add(m3);
    Machines.add(m4);

    JavaRDD<Machine> machineRDD = sparkContext.parallelize(Machines);

    machineRDD.foreach(machine -> machine.startDetectNow());

我尝试在每台机器上启动我的算法，这台机器必须从Elasticsearch中的数据中学习。

    public boolean startDetectNow()


    // MEGA Requete ELK
    JavaRDD dataForLearn = Elastic.loadElasticsearch(
            Algo.sparkContext
            , "logstash-*/Collector"
            , Elastic.req_AvgOfCall(
                    getIP()
                    , "hour"
                    , "2016-04-16T00:00:00"
                    , "2016-06-10T00:00:00"));

    JavaRDD<Hit> RDD_hits = Elastic.mapToHit(dataForLearn);
    List<Hit> hits = Elastic.RddToListHits(RDD_hits);

因此，我尝试在每个“机器”中获取查询的所有数据。我的问题是：Spark有可能做到这一点吗？或者以其他方式？当我点燃它时；当代码在第二个RDD附近时，它就像锁一样。

错误消息为：

谢谢你能给我一些建议。

Answer 1

无论RDD的类型是什么，都不能在RDD中创建RDD。这是第一条规则。这是因为RDD是指向数据的抽象。