当前位置: 首页 > 知识库问答 >
问题:

来自Spark hivecontext的查询会锁定配置单元表吗?

孔权
2023-03-14

我知道如果我从配置单元提交查询,将获得一个共享锁,然后配置单元表将被查询锁定:https://cwiki.apache.org/confluence/display/Hive/locking

共有1个答案

谈阎宝
2023-03-14

Spark SQL V.1.6支持它,2.x和3.x版本不支持它。

https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/sqlbase.g4

unsupportedHiveNativeCommands
...
    | kw1=LOCK kw2=TABLE
    | kw1=LOCK kw2=DATABASE
    | kw1=UNLOCK kw2=TABLE
    | kw1=UNLOCK kw2=DATABASE
 类似资料:
  • 当我运行以下配置单元命令时 hive-e‘选择msg,将(*)从表中计数为cnt,其中像“%abcd%”这样的msg按msg排序按cnt desc;’sed的/[\t]/,/g'>table.csv 失败:ParseException第1:89行无法识别表达式规范中“like”“%”“password”附近的输入 我知道在指定字符串“%abcd%”时有问题。该命令在配置单元环境中工作正常,但这里我

  • 我是配置单元新手,正在尝试将配置单元查询导出到计算机上的本地文件,以便将结果导入excel。 当我从蜂巢里做的时候; 配置单元-e从表限制中选择*10' I get“失败:ParseException行1:0无法识别“配置单元”-“e”附近的输入” 当我这么做的时候 配置单元-S-e“使用数据库;从表限制10中选择*” 来自shell或 插入覆盖本地目录“/tmp/hello”从表limit 10

  • 我正在使用twitter cloudera示例创建一个表,虽然我已经成功地创建了表并获得了数据,但我遇到了一个问题。 我可以执行并返回数据,但当我进行更深入的操作(如)时,我会收到一个错误。 以下是错误和堆栈跟踪: hive>从tweets中选择计数(*);MapReduce作业总数=1启动作业1编译时确定的1个reduce任务中的1个:1为了更改还原器的平均负载(以字节为单位):set hive

  • 为了提高配置单元查询的性能,有哪些优化参数 配置单元版本:-Hive 0.13.1-cdh5.2.1 配置单元查询:- 设置hive.exec.parallel=true; 您能建议任何其他设置,除了以上,以提高配置单元查询的性能,我正在使用的类型查询。

  • 然后,如果我运行这个命令来获取设施表的计数:val facTable=hivec.hql(“select count(*)from facility”),我将得到以下输出,我认为它无法找到要查询它的设施表: 如能提供任何协助,将不胜感激。谢了。

  • 我在java中开发了一个工作正常的配置单元udf,我的函数返回输入与配置单元表中列之间的最佳匹配,因此它有以下简化的伪代码: 我的问题是,如果这个函数是由Hive调用的,为什么我需要在代码中连接到Hive?我可以使用使用我的功能的用户所连接的当前连接吗?