Apache Spark需要5到6分钟的时间，即可简单地计算出Cassandra的1条Billon行

Question

我正在使用Spark
Cassandra连接器。从Cassandra表中获取数据需要5到6分钟。在Spark中，我在日志中看到了许多任务和Executor。原因可能是Spark将流程分为许多任务！

下面是我的代码示例：

public static void main(String[] args) {

    SparkConf conf = new SparkConf(true).setMaster("local[4]")
            .setAppName("App_Name")
            .set("spark.cassandra.connection.host", "127.0.0.1");

    JavaSparkContext sc = new JavaSparkContext(conf);

    JavaRDD<Demo_Bean> empRDD = javaFunctions(sc).cassandraTable("dev",
            "demo");
    System.out.println("Row Count"+empRDD.count());
}

Answer 1

在Google上搜索后，我在最新的spark-cassandra-
connector中喜欢了这个问题。参数spark.cassandra.input.split.size_in_mb Default value是64
MB，在代码中被解释为64个字节。所以尝试 spark.cassandra.input.split.size_in_mb = 64 * 1024 * 1024 = 67108864

听到就是一个例子：

public static void main(String[] args) {

    SparkConf conf = new SparkConf(true).setMaster("local[4]")
            .setAppName("App_Name")
            .set("spark.cassandra.connection.host", "127.0.0.1")
            .set("spark.cassandra.input.split.size_in_mb","67108864");


    JavaSparkContext sc = new JavaSparkContext(conf);

    JavaRDD<Demo_Bean> empRDD = javaFunctions(sc).cassandraTable("dev",
            "demo");
    System.out.println("Row Count"+empRDD.count());
}