Scala中DSE Cassandra的Spark SQL查询

Question

我想在Scala IDE中测试DSE Cassandra表上的Spark-SQL查询。当在dse spark-submit中执行jar文件时，查询将完美无缺地运行。但在Scala IDE中运行时会出现错误。错误是,

我想是spark主机配置错误，因为我在本地模式下运行主机。

这是我发起的星火会议。

val spark = SparkSession
          .builder()
          .appName("CassandraSpark")
          .config("spark.cassandra.connection.host", "127.0.0.1")
          .config("spark.cassandra.connection.port", "9042")
          .enableHiveSupport()
          .master("local")
          .getOrCreate();

但我不知道该把什么地址设为主人。我尝试将主地址设置为“spark://127.0.0.1:7077”，这是我启动Cassandra时从Web UI（localhost:7080)找到的。但是，它仍然给出了如下错误

Answer 1

您不需要硬编码Cassandra IPs，或者Master-只需创建SparkSession对象，它就会工作。下面是工作代码（Java）：

SparkSession spark = SparkSession
  .builder()
  .appName("CassandraSpark")
  .getOrCreate();

Dataset<Row> sqlDF = spark.sql("select * from test.t1 limit 1000");
sqlDF.printSchema();
sqlDF.show();

在DSE中，如果提交到分布式集群，可以将master指定为DSE:/code，DSE将自动查找当前master。文档中描述了所有可能的选项。