当前位置: 首页 > 知识库问答 >
问题:

Spark Java向配置单元表追加数据

壤驷建德
2023-03-14
SparkSession spark = SparkSession
                .builder()
                .appName("Java Spark SQL basic example")
                .config("hive.metastore.uris", "thrift://localhost:9083")

                .enableHiveSupport()
                .master("local[*]")
                .getOrCreate();
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: hive. Please find packages at http://spark.apache.org/third-party-projects.html

编辑:使用df.write().insertinto(“prova2.test_table”);工作,不知道它是如何工作的

共有1个答案

荆钱明
2023-03-14

saveastable()似乎不像您想要的那样工作。试试这个,

注册临时表

df.registerTempTable("sample.temptable")

如果表尚未退出,则创建并插入数据

sqlContext.sql("CREATE TABLE IF NOT EXISTS sample.test_table as select * from sample.temptable")
sqlContext.sql("CREATE TABLE IF NOT EXISTS sample.test_table")
sqlContext.sql("insert into table sample.test_table select * from sample.temptable")
sqlContext.sql("DROP TABLE IF EXISTS sample.temptable")
 类似资料:
  • 我在Hive(beeline)中创建了一个表,下面的命令是: 我还有一个小的自定义文件,其中包含示例记录,如: 有什么想法吗?

  • 我在java中开发了一个工作正常的配置单元udf,我的函数返回输入与配置单元表中列之间的最佳匹配,因此它有以下简化的伪代码: 我的问题是,如果这个函数是由Hive调用的,为什么我需要在代码中连接到Hive?我可以使用使用我的功能的用户所连接的当前连接吗?

  • 我使用一个自定义搜索函数的ajax查询,返回超文本标记语言数据成功调用。我想把这个数据附加到已经在页面上初始化的jQuery数据表中。当页面加载jQuery可数据显示,但是当我启动搜索功能,数据被附加到可数据,但不是排序,可搜索形式的可数据用户界面。ajax调用工作和数据返回时,我把成功的调用到console.log. 以下是HTML: 下面是带有Ajax调用的JQuery: }); 这是从aja

  • 我的主要目标是创建一个存储为ORC的表。为此,我遵循了以下步骤 我创建了一个文件夹/user/hive/external,并在同一位置创建了两个表(table_txt和table_orc)。直到将数据加载到table_txt中,它才是好的。 2-当我查询table_txt时,为什么它没有给出任何数据?而在查询table_orc时,我会得到结果?

  • 我试图为我的表创建分区,以便更新一个值。 这是我的样本数据 我想把珍妮特的部门更新到B。 为此,我创建了一个以Department为分区的表。 创建外部表trail(EmployeeID Int、FirstName String、Designation String、Salary Int),按(Department String)行格式分隔字段进行分区,以“,”location'/user/sre

  • 我使用的是版本。我正试图将一个分区的配置单元表加载到一个数据表中,在这个数据表中,配置单元表是按号进行分区的,在一个场景中,我可能有104个分区。 如果你对我有什么建议,请告诉我。 谢了。