更好的蜂巢-火花连接？

Question

我正在回顾一个旧的Spark软件，它必须并行运行许多小的查询和计数(select COUNT(*)FROM t)并使用直接的hive-sql。

在过去，该软件通过在shell(sys.process._)上直线运行每个查询来解决“并行化查询的问题”。我不能用现代新鲜的Spark，此刻只有Spark V2.2。下面的片段说明了完整的SQL查询方法。

有一种“Spark方式”可以访问Hive并运行SQL查询，性能（略）更好，而且Spark配置的重用性更好？
没有丢失纯配置单元或与本机配置单元火花并行化的风险？

package br.com.generaldq.utils

import org.apache.log4j.Logger

object HiveUtils {

  val log: Logger = Logger.getLogger(HiveUtils.getClass)

  def beelineExec(hql: String, queue: String = "DataQuality"): String = {
    // here the beeline call and parameters are fixed, 
    // no reuse of Spark configurations.
    val serversHive=List("etc:2181", "etc2:2181")
    log.info(hql)
    val bl =
      Seq("beeline", "-u", "'jdbc:hive2://etcEtc","--hiveconf","... ETC...", "-e",
        "\""+hql+"\""
      )
    import sys.process._
    var result =
      try {
         Process(bl).!!
      } catch {
        case e: Exception =>
          log.error(s"Error '${e}' on executing Hive query.\nQuery: ${hql}\n")
          s"Error on executing Hive query. Query: ${hql}"
      }
    result
  }

}

Answer 1

您没有提到您在什么平台，但在HDP的情况下，您可以使用Spark Warehouse连接器访问Hive。我希望在仍然利用配置单元的元数据管理，甚至在表/列级别设置的安全策略的同时，能够获得良好的性能。

下面是文档:https://docs.cloudera.com/hdpdocuments/hdp3/hdp-3.1.4/integrating-hive/content/hive_hivewarehouseconnector_for_handling_apache_spark_data.html

如果您没有一个集成的平台，有时您可以通过避免使用hive并只授予对Hdfs上的仓库目录的完全访问权来获得性能，当然这可能会产生安全问题。