spark在读取配置单元表时抛出错误

Question

我试图在配置单元中执行select*from db.abc操作，此配置单元表是使用spark加载的

“它不工作”显示错误：

错误：java.io.IOException：java.lang.IllegalArgumentException：bucketId超出范围：-1（状态=,代码=0)

set hive.mapred.mode=nonstrict;
set hive.optimize.ppd=true;
set hive.optimize.index.filter=true;
set hive.tez.bucket.pruning=true;
set hive.explain.user=false; 
set hive.fetch.task.conversion=none;

我需要在spark-submit或shell中添加任何属性吗？或者使用spark读取此hiv e表的另一种方法是什么

配置单元表示例格式：

  CREATE TABLE `hive``(                   |
|   `c_id` decimal(11,0),etc.........       
  ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.ql.io.orc.OrcSerde'      |
| WITH SERDEPROPERTIES (  
 STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'  |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' |
 LOCATION                                           |
|  path= 'hdfs://gjuyada/bbts/scl/raw' |
| TBLPROPERTIES (                                    |
|   'bucketing_version'='2',                         |
|   'spark.sql.create.version'='2.3.2.3.1.0.0-78',   |
|   'spark.sql.sources.provider'='orc',              |
|   'spark.sql.sources.schema.numParts'='1',         |
|   'spark.sql.sources.schema.part.0'='{"type":"struct","fields":
[{"name":"Czz_ID","type":"decimal(11,0)","nullable":true,"metadata":{}},
{"name":"DzzzC_CD","type":"string","nullable":true,"metadata":{}},
{"name":"C0000_S_N","type":"decimal(11,0)","nullable":true,"metadata":{}},
{"name":"P_ _NB","type":"decimal(11,0)","nullable":true,"metadata":{}},
{"name":"C_YYYY","type":"string","nullable":true,"metadata":{}},"type":"string","nullable":true,"metadata":{}},{"name":"Cv_ID","type":"string","nullable":true,"metadata":{}},
|   'transactional'='true',                          |
|   'transient_lastDdlTime'='1574817059')  

Answer 1

您试图将transactional table(transactional=true)读取到Spark中的问题。

配置单元acid表还不支持正式的Spark，将acid表的完全转储/增量转储转换到常规的配置单元ORC/Parquet分区表，然后使用Spark读取数据。

有一个开放的Jira saprk-15348来添加对读取hive acid表的支持。

>

如果您在Acid表（从配置单元）上运行major compaction，则可以只读取base_xxx目录，而不能读取在该JIRA中寻址的delta目录Spark-16996。

有一些使用SPARK-LLAP读取acid表的变通方法，如本链接所述。

我认为从HDP-3.x开始，HiveWarehouseSeconnector能够支持读取HiveAcid表。

您可以将事务性表的快照创建为非事务性，然后从该表读取数据。

创建表 作为orc存储为select*from

更新:

 CREATE external TABLE `<ext_tab_name>`(  
       <col_name>       <data_type>....etc
           )
    stored as orc
    location '<path>';

 insert overwrite table <ext_tab_name> select * from <transactional_tab_name>;