通过Java JDBC连接Hive

Question

这里有一个问题，从java连接到Hive，但我的问题不同

我的蜂巢运行在machine1上，我需要使用运行在machine2上的Java服务器传递一些查询。据我所知，Hive有一个JDBC接口，用于接收远程查询。我从这里获取了代码——HiveServer2客户端

我安装了文章中写的依赖项：

1. hive jdbc*。罐子

但是我得到了java。编译时lang.NoClassDefFoundError错误完整错误：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
    at org.apache.hive.jdbc.HiveConnection.createBinaryTransport(HiveConnection.java:393)
    at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:187)
    at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:163)
    at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
    at java.sql.DriverManager.getConnection(DriverManager.java:571)
    at java.sql.DriverManager.getConnection(DriverManager.java:215)
    at com.bidstalk.tools.RawLogsQuerySystem.HiveJdbcClient.main(HiveJdbcClient.java:25)

StackOverflow的另一个问题是，建议在Maven中添加Hadoop API依赖项-配置单元错误

我不明白为什么客户端需要hadoop API来连接Hive。JDBC驱动程序不应该与底层查询系统无关吗？我只需要传递一些SQL查询？

编辑：我正在使用Cloudera（5.3.1），我认为我需要添加CDH依赖项。Cloudera实例正在运行hadoop 2.5.0和HiveServer2

但是服务器在机器1上。在机器上，代码至少应该编译，我应该只在运行时有问题！

Answer 1

回答我自己的问题！

经过一些尝试，我在pom文件中添加了以下依赖项，从那时起，我可以在CHD 5.3.1和5.2.1集群上运行代码。

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>0.13.1-cdh5.3.1</version>
</dependency>
<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libthrift</artifactId>
    <version>0.9.0</version>
</dependency>
<dependency>
    <groupId>org.apache.thrift</groupId>
    <artifactId>libfb303</artifactId>
    <version>0.9.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>2.5.0-mr1-cdh5.3.1</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.5.0-cdh5.3.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>0.13.1-cdh5.3.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.5.0-cdh5.3.1</version>
</dependency>
<dependency>

请注意，其中一些依赖项可能不是必需的

Answer 2

在尝试对hive 0.13使用hive jdbc 1.2.1时出现相同错误。与其他答案中的长列表相比。现在我们使用这两个：

hive-jdbc-1.2.1-standalone.jar
hadoop-common-2.7.1.jar

另一个备注：在对旧的Hive使用最新的jdbc时，您可能会得到“必需字段”client_protocol“未设置！”。如果是这样，请将jdbc版本更改为1.1.0：

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-jdbc</artifactId>
  <version>1.1.0</version>
  <classifier>standalone</classifier>
</dependency>

Answer 3

如果你还没解决这个问题，我已经试过了。我需要以下依赖项才能编译和运行它：

libthrift-0.9.0-cdh5-2.jar
httpclient-4.2.5.jar
httpcore-4.2.5.jar
commons-logging-1.1.3.jar
hive-common.jar
slf4j-api-1.7.5.jar
hive-metastore.jar
hive-service.jar
hadoop-common.jar
hive-jdbc.jar
guava-11.0.2.jar

hive文档可能是针对旧版本/发行版编写的。

您的异常是由于缺少的hadoop公共jar，它具有org.apache.hadoop.conf.配置。

希望这有帮助。