《hive》专题

我从我的SQL工具（即Squirrel SQL、Oracle SQL Developer）与端口10000的HiveServer2（运行在远程服务器上）建立了一个JDBC连接。 我能够成功地运行一些查询。然后在1-2分钟内执行其他操作（不在SQL工具中），然后返回SQL工具并尝试运行查询，但我得到以下错误: 如果我现在断开连接并在我的SQL工具中重新连接，我可以再次运行查询。但是有人知道我应该更改

我知道如果我从配置单元提交查询，将获得一个共享锁，然后配置单元表将被查询锁定：https://cwiki.apache.org/confluence/display/Hive/locking

我在scala/Spark-Shell中有4个变量。 我需要把这个喂到蜂巢桌子上，就像这样： 因子系数 我肯定我错过了如何做到这一点的整个想法。 任何帮助都是真诚的感谢。

我们有很多Json日志，并且希望构建我们的Hive数据仓库。将Json日志获取到spark schemaRDD中很容易，并且schemaRDD有一个saveAsTable方法，但它只适用于从HiveContext创建的Schemards，而不是从常规SQLContext创建的Schemards。当我试图使用从Json文件创建的schemaRDD保存Eastable时，它会抛出异常。有没有办法强制它

我正在创建hivecontext而不是sqlcontext来创建adtaframe 我需要从ratio1中获得确切的配置单元上下文，而不是再次从dataframe中的povidedsql上下文中创建hivecontext，我不知道为什么spark不从dataframe中给我一个hivecontext，它只给SQLContext。

null

背景： Centos7 Hadoop-2.7.3 spark-2.0.1-bin-hadoop2.7 apache-hive-2.1.0-bin（仅用于启动由配置单元启动的转移服务--service转移服务） 配置了HADOOP_HOME、SPARK_HOME和HIVE_HOME等 MySQL 5.7.16 已将mysql-connector-java-5.1.40-bin.jar放入hive/l

我正在尝试使用ORDER BY查找在Hive中我的表中创建条目的最早时间。声明看起来像这样 这给我一个错误消息，如下所示： https://i.imgur.com/cgIiSKh.png 只是向您展示SELECT语句在没有ORDER BY的情况下是如何工作的： https://i.imgur.com/k6RwAd4.png 我在尝试时也犯了同样的错误 顺便说一句，timeiss是一个字符串。 以下

在RedHat测试服务器中，我安装了hadoop 2.7，并运行了Hive、Pig 我把IP作为localhost，因为它是单节点机器。之后我甚至无法连接到Hive。这是抛出错误 线程"main"中的异常java.lang.RuntimeException：java.lang.RuntimeException：无法实例化org.apache.hadoop.hive.ql.metadata.Sess

我一直在关注这篇关于如何用Hive分析twitter数据的文章:http://blog . cloud era . com/blog/2012/11/analyzing-Twitter-data-with-Hadoop-part-3-query-semi-structured-data-with-Hive/ 我设置了水槽来收集twitter数据并写入HDFS。我已经设置了一个指向同一HDFS位置的

输入数据： < li >包含35个文件的配置单元表(T)(每个文件约1.5GB，SequenceFile) < li >文件在gs存储桶中 < li >默认fs.gs.block.size=~128MB < li >所有其他参数都是默认的 实验 1： 创建一个具有2个工作线程的dataproc（每个工作线程4个核心） 从T运行选择计数（*） 实验1结果： 为读取配置单元表文件创建了约 650 个任

我有一个数据帧，我用它来插入到现有的分区配置单元表中，使用spark sql（使用动态分区）。一旦数据帧被写入，我想知道我的数据帧刚刚在蜂巢中创建的分区是什么。 我可以在数据帧中查询不同的分区，但这需要很长时间，因为它必须启动数据帧的整个进程。 我可以在写入配置单元之前持久化数据帧，这样，写操作和distinct partition_column操作就发生在缓存的数据帧之上。但我的数据帧非常大，不

即使它是Hive表或HDFS文件，当Spark读取数据并创建数据帧时，我也在想RDD /数据帧中的分区数将等于HDFS中的部分文件数。但是，当我使用 Hive 外部表进行测试时，我可以看到该数字与 部件文件的数量 不同。数据帧中的分区数为 119。该表是一个 Hive 分区表，其中包含 150 个部分文件，最小文件大小为 30 MB，最大大小为 118 MB。那么是什么决定了分区的数量呢？

创建了一个项目' spark-udf ' 建造它 但是下面一行给了我例外: 例外： 线程“main”org.apache.spark.sql中出现异常。AnalysisException:UDAF“com.sark.udf.UpperCase”没有处理程序。请改用sparkSession.udf.register（…）。；第1行位置7，位于org.apache.spark.sql.catalyst