如何在hive中导入mongo数据？

Question

我面临一个问题。

因此，当我尝试使用下面的命令将mongo数据导入到hive时，它给了我一个错误。

CREATE EXTERNAL TABLE gok
(
id STRING,
name STRING,
state STRING,
email STRING) STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id","name":"name","state":"state"}') TBLPROPERTIES('mongo.uri'='mongodb://localhost:27017/gokul_test.play_test');

注：

使用的工具版本如下：

• Java JDK 8
• Hadoop:2.8.4
• 蜂巢：2.3.3
• MongoDB:4.2

jar版本如下，已移到HADOOP_HOME/lib和HIVE_HOME/lib：

• mongo-hadoop-core-2.0.2。罐子
• mongo-hadoop-hive-2.0.2。罐子
• mongo-java-driver-2.13.2。罐子

所以错误是

失败：执行错误，从组织返回代码1。阿帕奇。hadoop。蜂箱ql.exec。这是一项艰巨的任务。org/apache/hadoop/hive/serde2/SerDe

我尝试通过手动添加罐在蜂箱，然后我收到的错误如下。

失败：执行错误，从组织返回代码1。阿帕奇。hadoop。蜂箱ql.exec。这是一项艰巨的任务。com/mongodb/hadoop/hive/BSONSerDe

两种错误都不同。

如果你知道任何解决方案或需要更多细节，请告诉我。

Answer 1

它看起来像是mongo hadoop蜂箱-

尝试使用以下命令添加mongodb JAR：

ADD JAR /path-to/mongo-hadoop-hive-<version>.jar

更多信息：https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage

或者：您也可以尝试将mongodb BSON数据以AVRO格式摄取到配置单元中，然后在配置单元中构建表。这是一个漫长的过程，但它会让你的工作完成。您需要构建一个新的连接器，用于读取mongo并将其转换为avro格式。

Answer 2

你应该将罐子添加到你的蜂箱会话中。

您正在使用哪个配置单元客户端？

如果使用“beeline”，可以在尝试创建表之前添加JAR的完整路径：

beeline !connect jdbc:hive2://localhost:10000 “” ””

因此，一旦创建了会话，就必须使用“add jar”和jar文件的完整路径添加jar：

add jar hdfs://sandbox.hortonworks.com:8020/tmp/udfs/mongo-hadoop-hive-1.5.0-SNAPSHOT.jar;
add jar hdfs://sandbox.hortonworks.com:8020/tmp/udfs/mongo-hadoop-core-1.5.0-SNAPSHOT.jar;
add jar hdfs://sandbox.hortonworks.com:8020/tmp/udfs/mongodb-driver-3.0.4.jar;

所以下一步是删除/创建表

DROP TABLE IF EXISTS bars;

CREATE EXTERNAL TABLE bars
(
objectid STRING,
    Symbol STRING,
    TS STRING,
    Day INT,
    Open DOUBLE,
    High DOUBLE,
    Low DOUBLE,
    Close DOUBLE,
    Volume INT
)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"objectid":"_id",
 "Symbol":"Symbol", "TS":"Timestamp", "Day":"Day", "Open":"Open", "High":"High", "Low":"Low", "Close":"Close", "Volume":"Volume"}')
TBLPROPERTIES('mongo.uri'='mongodb://localhost:27017/marketdata.minibars');

来源：https://community.cloudera.com/t5/Support-Questions/Mongodb-with-hive-Error-return-code-1-from-org-apache-hadoop/td-p/138161