在配置单元表hdfs文件夹中写入文件，并使其可从配置单元查询

Question

df.write.mode("overwrite")
  .option("maxRecordsPerFile", 10000)
 .insertInto(hive_table)

df.write.option("maxRecordsPerFile", 10000)
  .mode("overwrite").orc(path_hive_table)

Answer 1

调试步骤：

1.检查配置单元表使用的文件类型

Show create table table_name

并选中“存储为”..为了更好的效率，将输出保存在parquet和分区位置（您可以在上面查询的“location”中看到）。如果有任何其他特定类型，请创建file作为该类型。

alter table {table_name} add partition ({partition_column}={value});