配置单元TEZ运行查询需要很长时间
select * fromtbl1 where clmn='Abdul' and loc='IND' and TO_UNIX_TIMESTAMP(ts) > (UNIX_TIMESTAMP() - 5*60*60);
set hive.vectorized.execution.reduce.enabled=true;
set hive.tez.container.size=8192;
set hive.fetch.task.conversion = none;
set mapred.compress.map.output=true;
set mapred.output.compress=true;
set hive.fetch.task.conversion=none;
-----------+--+
| Explain |
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
| Plan not optimized by CBO. |
| |
| Stage-0 |
| Fetch Operator |
| limit:-1 |
| Stage-1 |
| Map 1 |
| File Output Operator [FS_2973] |
| compressed:false |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| table:{"input format:":"org.apache.hadoop.mapred.TextInputFormat","output format:":"org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat","serde:":"org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"} |
| Select Operator [SEL_2972] |
| outputColumnNames:["_col0","_col1","_col2","_col3","_col4","_col5","_col6","_col7"] |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| Filter Operator [FIL_2971] |
| predicate:((section = 'xysaa') and (to_unix_timestamp(ts) > (unix_timestamp() - 18000))) (type: boolean) |
| Statistics:Num rows: 49528 Data size: 24516360 Basic stats: COMPLETE Column stats: COMPLETE |
| TableScan [TS_2970] |
| ACID table:true |
| alias:pp |
| Statistics:Num rows: 4457541 Data size: 1854337449 Basic stats: COMPLETE Column stats: COMPLETE |
| |
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
没有一个参数帮助我们在较短的时间内解决查询。
共有1个答案
根据计划，查询在映射器上运行，不启用矢量化。试试看：
set hive.vectorized.execution.enabled = true;
set hive.vectorized.execution.reduce.enabled=true;
优化映射器并行性：
set tez.grouping.max-size=67108864;
set tez.grouping.min-size=32000000;
使用这些设置来增加运行的映射器的数量。理想情况下,它应该在没有此设置的情况下运行：
set hive.tez.container.size=8192;
(UNIX_TIMESTAMP(current_timestamp) - 5*60*60)
-
我知道要冬眠。我有一个sql语句 我尝试用createCriteria和HQL实现它。 HQL： 问题是，此HQL的执行时间延长了10倍。并执行许多不必要的查询。我尝试使用注释字符串进行转换，它有了一些改进，但仍然比createCriteria查询长5倍，此外，我无法进行此转换 <代码>列表 版本数据防御
-
我有以下PHP代码在Laravel正在执行一个MySql查询： 执行此查询需要很长时间。 我对所排序的列以及其他查询的许多列都有索引。 我该怎么办？ 更新： 执行的查询： 结果：
-
我启动了一个项目，现在项目中有大约7个测试，使用执行整个测试套件已经花费了一分钟多的时间。 从附加输出（标志）中，我可以看到，对于每个测试类和方法，整个quarkus应用程序以及mongodb实例等依赖项都会重新启动。 这与quarkus文档在测试指南页面上的内容完全相反： 到目前为止，在我们的所有示例中，我们只为所有测试启动Quarkus一次。在运行第一个测试之前，Quarkus将启动，然后所有
-
我的Mongo Collection有大约2000个文档。当使用MongoTemplate find（）方法和空查询（即我需要集合中的所有文档）和实体类、集合名称时，以列表的形式返回数据需要一分钟以上。有人能帮我让查询返回更快吗？？下面是我正在使用的查询。
-
询问代码的问题必须证明对所解决问题的理解程度最低。包括尝试的解决方案、为什么不起作用以及预期的结果。另请参见：堆栈溢出问题检查表 我敢肯定，上面的程序不是无限循环的。我用进行了测试，得到了想要的结果 我不明白为什么我的CPU要花很长时间来运行它。 编辑：ProjectEuler的我的代码。网络问题3。
-
问题内容： 我有一个以datetime为参数的查询，我们观察到的是，如果通过变量提供datetime参数，则执行查询的时间比直接对参数进行硬编码要多2 -3倍，是否有任何原因或解决方案？对此 以下查询大约需要5分钟才能返回结果 虽然作为 它会在10到20秒内返回 我并不总是希望在列上使用索引进行搜索。 按照kevchadders的建议，我看到执行计划有很大的不同。使用日期变量的查询正在执行聚集索引