《hive》专题

执行时发生错误 来自不在CDH env中的airflow docker容器（不由CDH CM管理）。斯兰杰。py是简单的从配置单元表中选择*。 应用程序在CDH纱线上被接受并执行两次并出现此错误： 我们假设缺少“一些. jar和java依赖项”。有什么想法吗？ 详细信息 在执行spark cmd之前，存在有效的krb票证 如果我们使用jars/path/to/spark-hive\U 2.11-2

以下是已经实现的 Kafka制作人使用Spark流媒体从推特上获取数据 Kafka消费者将数据摄取到Hive外部表（在HDFS上） 虽然到目前为止这一切都很顺利。我只面临一个问题，当我的应用程序将数据插入配置单元表时，它创建了一个小文件，每个文件的每一行都有数据。 下面是代码 配置单元演示表已填充了一条记录。Kafka consumer循环处理每一行中topic=“topic\u twitter”

使用火花流读取和处理来自Kafka的消息并写入HDFS-Hive。由于我希望避免创建许多垃圾文件系统的小文件，我想知道是否有办法确保最小的文件大小，和/或强制在文件中输出行数最少的能力，超时除外。谢谢。

对于Spark 2.1的新安装，我在执行pyspark命令时出错。 我在同一台机器上有Hadoop和Hive。Hive配置为使用MySQL进行元存储。我在Spark 2.0.2中没有得到这个错误。 有人能给我指出正确的方向吗？

问题内容： 有没有办法将重复项保留在Hive的收集集中，或使用其他方法模拟Hive提供的聚合收集的种类？我想将具有相同键的列中的所有项目聚合到一个具有重复项的数组中。 IE浏览器： 应该返回： 问题答案： 尝试在Hive 0.13.0之后使用COLLECT_LIST（col）

问题内容： 我正在尝试使用Java中的metastore客户端从配置单元metastore中获取表属性，表db，名称，所有者和hdfs位置。我想我可以获取表数据库和名称，但是我不知道如何获取所有者和hdfs位置之类的东西。可能吗？我一直在搜索文档和互联网两个小时，而且没有骰子。 问题答案： 可能是这样的： https://hive.apache.org/javadocs/r1.2.2/api/or

本文向大家介绍Hive里面用什么代替in查询相关面试题，主要包含被问及Hive里面用什么代替in查询时的应答技巧和注意事项，需要的朋友参考一下 解答： 提示：Hive中的left semi join替换sql中的in操作  

本文向大家介绍你们数据库怎么导入hive 的,有没有出现问题相关面试题，主要包含被问及你们数据库怎么导入hive 的,有没有出现问题时的应答技巧和注意事项，需要的朋友参考一下 解答： 在导入hive的时候，如果数据库中有blob或者text字段，会报错。有个参数limit

本文向大家介绍hive内部表和外部表的区别相关面试题，主要包含被问及hive内部表和外部表的区别时的应答技巧和注意事项，需要的朋友参考一下 解答： 内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件都删除 外部表：不加载数据到hive所在的hdfs目录，删除时，只删除表结构。

本文向大家介绍hive有哪些方式保存元数据，各有哪些特点？相关面试题，主要包含被问及hive有哪些方式保存元数据，各有哪些特点？时的应答技巧和注意事项，需要的朋友参考一下 1.内嵌Derby数据库存储 --这个是hive默认自带的内嵌数据库，用来储存元数据，但这个在配置了hiveserver2和metastore服务后，不支持多个用户同时登录，不方便对数据库的安全访问 2.multi user m

本文向大家介绍假如一个分区的数据主部错误怎么通过hivesql删除hdfs相关面试题，主要包含被问及假如一个分区的数据主部错误怎么通过hivesql删除hdfs时的应答技巧和注意事项，需要的朋友参考一下 解答： alter table ptable drop partition (daytime='20140911',city='bj'); 元数据，数据文件都删除，但目录daytime= 2014

本文向大家介绍hive partition分区相关面试题，主要包含被问及hive partition分区时的应答技巧和注意事项，需要的朋友参考一下 解答： 分区表，动态分区

问题内容： 有没有办法查看配置单元大于等于0.11的orc文件的内容。我通常将cat gz文件解压缩，以查看其内容，例如：cat part-0000.gz | Pigz -d | 更多说明：pigz是并行的gz程序。 我想知道orc文件是否与此类似。 问题答案： 2020年更新的答案 ： 根据@Owen的回答，ORC已经成长并成熟为自己的Apache项目。一个完整的ORC采纳者列表显示了现在它在多

本文向大家介绍简述Hive中的虚拟列作用是什么，使用它的注意事项相关面试题，主要包含被问及简述Hive中的虚拟列作用是什么，使用它的注意事项时的应答技巧和注意事项，需要的朋友参考一下 解答： Hive提供了三个虚拟列： INPUTFILENAME BLOCKOFFSETINSIDE__FILE ROWOFFSETINSIDE__BLOCK 但ROWOFFSETINSIDE__BLOCK默认是不可用

本文向大家介绍hive 有哪些方式保存元数据，各有哪些特点？相关面试题，主要包含被问及hive 有哪些方式保存元数据，各有哪些特点？时的应答技巧和注意事项，需要的朋友参考一下 解答： 1、内存数据库derby，安装小，但是数据存在内存，不稳定 2、mysql数据库，数据存储模式可以自己设置，持久化好，查看方便。