sql表或视图未找到错误

Question

我正在尝试使用spark sql运行一个基本的java程序

如果有人能给我指出一些在斯巴克-sql（斯巴克-2.1.1）上可以阅读的好材料，那也太好了。我计划使用火花来实现ETL，连接到MySQL和其他数据源。

异常在线程"main"org.apache.spark.sql.分析异常：未找到表或视图：myschema.mytable；第1行pos 21；

    String MYSQL_CONNECTION_URL = "jdbc:mysql://localhost:3306/myschema";
    String MYSQL_USERNAME = "root";
    String MYSQL_PWD = "root";

    Properties connectionProperties = new Properties();
    connectionProperties.put("user", MYSQL_USERNAME);
    connectionProperties.put("password", MYSQL_PWD);

    Dataset<Row> jdbcDF2 = spark.read()
              .jdbc(MYSQL_CONNECTION_URL, "myschema.mytable", connectionProperties);
    spark.sql("SELECT COUNT(*) FROM myschema.mytable").show();

Answer 1

这是因为Spark在Spark SQL上下文中默认情况下不会从connection的任何模式注册任何表。您必须自己注册：

jdbcDF2.createOrReplaceTempView("mytable");
spark.sql("select count(*) from mytable");

您的jdbcDF2在myschema.mytable中有一个来自MySQL的源代码，并将在某些操作中从该表加载数据。

请记住，MySQL表与Spark表或视图不同。您告诉Spark从MySQL读取数据，但您必须将此数据帧或数据集注册为当前SparkSQL上下文或Spark会话中的表或视图