《hive》专题
-
Hive不读取Spark生成的分区拼板文件
我遇到了一个问题，无法在Hive中读取由Spark生成的分区拼花文件。我可以在hive中创建外部表，但是当我尝试选择几行时，hive只返回一个“OK”消息，没有行。 我能够在Spark中正确读取分区的拼花文件，所以我假设它们是正确生成的。当我在hive中创建外部表而不进行分区时，我也能够读取这些文件。 null 我的Spark配置文件有以下参数（/etc/Spark/conf.dist/spark
-
为什么在hive中查询拼花文件比文本文件慢？
我决定使用Parquet作为配置单元表的存储格式，并且在我的集群中实际实现它之前，我决定运行一些测试。令人惊讶的是，在我的测试中，Parquet的速度比纯文本文件更慢，而不是它比纯文本文件更快的一般概念。 请注意，我在MapR上使用的是HIVE-0.13 null 编辑 我将ORC添加到存储格式列表中，并再次运行测试。遵循细节。 行计数操作 ORC与快速累积CPU-98.27秒 列操作的平均值 文
-
hive面试问题中的分区
5）什么类型的查询，只在映射器端运行而不在还原器端运行，反之亦然？
-
如何以csv2格式从beeline hive下载数据？我有问题从蜂巢下载数据通过直线。 我想下载一个表到文件与csv作为字段分隔符。如果列值有逗号，那么该值需要用引号括起来。 我知道beeline为这个用例提供了outputformat csv2。 如果我漏了什么就告诉我。
-
beeline无法连接到hive2server
输入JDBC的用户名:hive2://localhost:10001/default：输入JDBC的密码:hive2:/localhost:10001/default：17/08/19 09:25:14[main]:警告JDBC.hiveConnection：无法连接到localhost:10001无法打开到HS2服务器的连接。请检查服务器URI，如果URI正确，请让管理员检查服务器状态。错误：无
-
配置:Hiveserver2&Beeline
直线>！连接JDBC:hive2://hdpmaster:10000 连接到JDBC:hive2://hdpmaster:10000 输入JDBC:hive2://hdpmaster:10000:hdpsyser的用户名 输入JDBC:hive2://hdpmaster:10000:********** 输入密码:hive2://hdpmaster:10000:****** 17/05/09 01
-
无法连接到beeline hive2
！connect jdbc:hive2://hostname:10000/default org.apache.hive.jdbc.hivedriver或！connect jdbc:hive2://hostname:10000/default 在给出用户名和密码后，它会给我一个错误 错误：无法打开到JDBC的连接:Hive2:/:10000:java.net.ConnectException：连接
-
hive如何从HDFS中存在的文件创建表？
我是HDFS和Hive的新手。在阅读了一些书籍和文档之后，我得到了这两个方面的一些介绍。我有一个关于在HIVE中创建一个表的问题，该表的文件存在于HDFS中。我有这个文件在HDFS中有300个字段。我想在HDFS中创建一个访问该文件的表。但我想利用这个文件中的30个字段。我的问题是1。配置单元是否创建单独的文件目录？2.我必须先创建配置单元表，然后从HDFS导入数据吗？3.既然我想创建一个300列
-
Hive-如何在命令行中显示配置单元查询结果以及列名
-
带ORC性能的Tez上的Hive真的比用于ETL的Spark SQL更好吗？
我在Hive方面没有什么经验，目前正在学习Scala的Spark。我很想知道Tez上的Hive是否真的比SparkSQL快。我搜索了很多有测试结果的论坛，但他们都比较了旧版本的Spark，而且大多数都是2015年写的。要点摘要如下： 兽人将在Spark中执行与parquet相同的操作 TEZ发动机将像火花发动机一样提供更好的性能 连接在配置单元中比Spark更好/更快 最初，我认为Spark会比任
-
如何在向桶中插入数据的同时合并hive创建的小文件？
我有一个包含呼叫数据记录的配置单元表。我在电话号码上对表进行了分区，并在CALL_DATE上对表进行了bucked处理。现在，当我在hive中插入数据时，过时的call_date会在我的bucket中创建小文件，这会创建名称、节点、元数据、增加和性能降低。有没有办法把这些小文件合二为一。
-
Sqoop导入为Avro数据文件在Hive中创建外部Avro表时将所有值设置为NULL
我试图使用Sqoop import-free-form查询将Oracle DB数据导入HDFS，方法是使用Oozie调度器使用“-as avrodatafile”连接两个表。以下是我的工作流程的内容。xml： Oozie作业成功运行，并在HDFS上的目录 /apps/hive/warehouse/loc_avro_import下创建Avro文件以及_SUCCESS标志。然后我使用以下Hive脚本在
-
带有ORC格式的Hive外部表-如何将orc文件中的列名映射到hive表列？
在使用ORC文件格式的Hive中，有没有一种方法可以将列名映射到独立于列顺序的Hive表列？ orc文件的示例架构： 所需配置单元表列顺序： 但是，当我创建具有所需列顺序的表时，数据没有正确对齐。配置单元根据列顺序而不是列名获取数据。这对于拼花格式很好，其中Hive能够根据列名选择正确的顺序。如有任何解决此问题的建议，我们将不胜感激。 我没有选择更改orc文件模式，因为它是由外部进程创建的。也不想
-
HiveContext未读取ORC文件的架构
当我运行以下命令时： 这些列打印为“_col0”、“_col1”、“_col2”等。而不是它们的真实名称，如“empno”、“name”、“Deptno”。 当我在Hive中“description mytable”时，它会正确打印列名，但当我运行“orcfiledump”时，它也会显示\u col0、\u col1、\u col2。我必须指定“schema on read”或其他什么吗？如果是，
-
从S3读取镶木地板文件是否需要hive metastore？
我正在尝试使用火花在S3文件中生成拼花文件，目的是稍后可以使用presto从拼花中查询。基本上，它看起来是这样的， <代码>Kafka- 我能够使用Spark在S3中生成拼花并且工作正常。现在，我正在查看presto，我想我发现它需要hive meta store才能从拼花中查询。即使拼花保存模式，我也无法让presto读取我的拼花文件。那么，这是否意味着在创建拼花文件时，火花作业还必须将元数据存