火花中的任务是什么？Spark worker如何执行jar文件？

Question

在阅读了http://spark.apache.org/docs/0.8.0/cluster-overview.html上的一些文档之后，我得到了一些我想澄清的问题。

以Spark为例：

JavaSparkContext spark = new JavaSparkContext(
  new SparkConf().setJars("...").setSparkHome....);
JavaRDD<String> file = spark.textFile("hdfs://...");

// step1
JavaRDD<String> words =
  file.flatMap(new FlatMapFunction<String, String>() {
    public Iterable<String> call(String s) {
      return Arrays.asList(s.split(" "));
    }
  });

// step2
JavaPairRDD<String, Integer> pairs =
  words.map(new PairFunction<String, String, Integer>() {
    public Tuple2<String, Integer> call(String s) {
      return new Tuple2<String, Integer>(s, 1);
    }
  });

// step3
JavaPairRDD<String, Integer> counts =
  pairs.reduceByKey(new Function2<Integer, Integer>() {
    public Integer call(Integer a, Integer b) {
      return a + b;
    }
  });

counts.saveAsTextFile("hdfs://...");

Answer 1

创建sparkcontext时，每个工作者都启动一个执行器。这是一个单独的进程(JVM)，它也加载您的jar。执行程序连接回驱动程序。现在驱动程序可以向它们发送命令，如示例中的flatmap、map和reducebykey。当驱动程序退出时，执行程序关闭。

RDD有点像拆分为多个分区的大数组，每个执行器可以保存其中的一些分区。

任务是通过序列化function对象从驱动程序发送到执行程序的命令。执行器反序列化命令（这是可能的，因为它已经加载了您的jar)，并在一个分区上执行它。

回答您的具体问题：否，不是每一步都启动一个新的流程。在构造sparkcontext时，将在每个工作者上启动一个新进程。