如何在没有配置单元站点的情况下将Spark SQL连接到远程配置单元元存储（通过thrift协议）。xml？

Question

我正在将HiveContext与SparkSQL一起使用，并试图连接到远程配置单元元存储，设置配置单元元存储的唯一方法是包含配置单元站点。类路径上的xml（或将其复制到/etc/spark/conf/）。

有没有一种方法可以在java代码中以编程方式设置此参数，而不包括配置单元站点。xml？如果是的话，使用什么样的Spark配置？

Answer 1

我也面临同样的问题，但解决了。只需在火花2.0版本中遵循以下步骤

或者将MySQL驱动程序添加到Maven/SBT（如果使用这些驱动程序）

步骤3：当你创建火花会话添加enableHiveSupport（）

val spark=火花会话。建设者大师（“本地”）。appName（“测试”）。enableHiveSupport（）。getOrCreate（）

示例代码：

package sparkSQL

/**
  * Created by venuk on 7/12/16.
  */

import org.apache.spark.sql.SparkSession

object hivetable {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.master("local[*]").appName("hivetable").enableHiveSupport().getOrCreate()

    spark.sql("create table hivetab (name string, age int, location string) row format delimited fields terminated by ',' stored as textfile")
    spark.sql("load data local inpath '/home/hadoop/Desktop/asl' into table hivetab").show()
    val x = spark.sql("select * from hivetab")
    x.write.saveAsTable("hivetab")
  }
}

输出：

Answer 2

在spark 2.0中。应该是这样的：

别忘了用你的hive.metastore.uris替换。这假设你已经启动了蜂巢转移服务（不是蜂巢服务器）。

 val spark = SparkSession
          .builder()
          .appName("interfacing spark sql to hive metastore without configuration file")
          .config("hive.metastore.uris", "thrift://localhost:9083") // replace with your hivemetastore service's thrift url
          .enableHiveSupport() // don't forget to enable hive support
          .getOrCreate()

        import spark.implicits._
        import spark.sql
        // create an arbitrary frame
        val frame = Seq(("one", 1), ("two", 2), ("three", 3)).toDF("word", "count")
        // see the frame created
        frame.show()
        /**
         * +-----+-----+
         * | word|count|
         * +-----+-----+
         * |  one|    1|
         * |  two|    2|
         * |three|    3|
         * +-----+-----+
         */
        // write the frame
        frame.write.mode("overwrite").saveAsTable("t4")

Answer 3

对于Spark 1。x、 您可以设置：

System.setProperty("hive.metastore.uris", "thrift://METASTORE:9083");

final SparkConf conf = new SparkConf();
SparkContext sc = new SparkContext(conf);
HiveContext hiveContext = new HiveContext(sc);

或者

final SparkConf conf = new SparkConf();
SparkContext sc = new SparkContext(conf);
HiveContext hiveContext = new HiveContext(sc);
hiveContext.setConf("hive.metastore.uris", "thrift://METASTORE:9083");

更新如果您的蜂巢是Kerberated：

在创建HiveContext之前，请尝试设置这些选项：

System.setProperty("hive.metastore.sasl.enabled", "true");
System.setProperty("hive.security.authorization.enabled", "false");
System.setProperty("hive.metastore.kerberos.principal", hivePrincipal);
System.setProperty("hive.metastore.execute.setugi", "true");