用Spark优化配置单元SQL查询？
我对这些技术的理解是否正确？
共有1个答案
最终，它取决于您的配置单元执行引擎、文件格式和分区/排扣。这不仅仅是蜂巢对火花。例如，使用Spark读取CSV文件将需要比配置单元中的分区、快速压缩的Parquet或ORC表更多的资源
撇开数据格式不谈，如果Spark和Hive查询在YARN中运行，它们将占用大致相同的资源来计算数据，尽管Spark允许您对resultset做更多的工作，因为它是以编程方式定义的
您还可以让Hive使用Spark而不是Mapreduce作为执行引擎，或者使用Tez作为另一个选项
-
为了提高配置单元查询的性能，有哪些优化参数 配置单元版本：-Hive 0.13.1-cdh5.2.1 配置单元查询：- 设置hive.exec.parallel=true； 您能建议任何其他设置，除了以上，以提高配置单元查询的性能，我正在使用的类型查询。
-
我设置了一个AWS EMR集群，其中包括Spark 2.3.2、hive 2.3.3和hbase 1.4.7。如何配置Spark以访问hive表？ 我采取了以下步骤，但结果是错误消息： Java语言lang.ClassNotFoundException：java。lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning使用
-
我正在使用Spark SQL读取一个配置单元表，并将其分配给一个scala val 有什么方法可以绕过这个错误吗？我需要将记录插入到同一个表中。 嗨，我试着按建议做，但仍然得到同样的错误。
-
我试图从Spark Sql将数据插入到Hive外部表中。我通过以下命令创建了hive外部表 在spark工作中，我编写了以下代码Dataset df=session。read（）。选项（“标题”、“真”）。csv（csvInput）； 每次运行这段代码时，我都会遇到以下异常
-
HDP-2.5.0.0，使用Ambari 2.4.0.1 配置单元表ReportSetting如下： 列'SerializedReportSetting'在源SQL Server db中是一种XML数据类型，但在Sqoop导入期间被转换为String，这是它在SQL Server中的外观： 在配置单元表中： 在SQL Server上正常工作的查询： 从ReportSetting限制1中选择xpat