当前位置: 首页 > 工具软件 > BeUp > 使用案例 >

hive on spark : 使用load data 命令将hdfs上数据覆写到hive表中报错:could not be cleaned up解决方法

夏立果
2023-12-01

问题出现

在执行sh脚本时,执行

load data inpath '/origin_data/$APP/db/order_info/$do_date' OVERWRITE into table ${APP}.ods_order_info partition(dt='$do_date');

报错:

Loading data to table gmall.ods_order_detail partition (dt=2020-06-23)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://hadoop102:8020/warehouse/gmall/ods/ods_order_detail/dt=2020-06-23 could not be cleaned up.

解决方法:因为被覆写的表是分区表,不过现在删掉了该分区的数据,而之前导入过该分区的数据,这会导致hive的元数据库中会记录。只要将该表删掉重新创建即可。

 类似资料: