在spark sql SELECT查询中执行。show（）时出错

Question

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession, HiveContext


spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .config("hive.metastore.uris", "thrift://localhost:9083") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("SELECT * FROM pokes").show()    

18/04/25 11:58:34 INFO sparkcontext：Created broadcast 0 from Traceback（最近的调用为last）：文件“/users/xxxxx/scripts/hive/hive.py”，第12行，在spark.sql（“select*from pokes”）.show（）文件“/usr/local/cellar/apache-spark/2.2.1/libexec/python/lib/pyspark.zip/pyspark/dataframe.py”，第336行，在show文件“133，在调用文件”/usr/local/cellar/apache-spark/2.2.1/libexec/python/lib/pyspark.zip/pyspark/sql.utils.IllegalArgumentException:u'java.net.unknownHostException:namenode'中，第79行

谢了！

Answer 1

我认为问题不在于。show（），而在于查询本身的执行。

在配置文件中搜索HDFS（hdfs-site）并更改namenode的值：

<configuration>
 <property>
     <name>dfs.namenode.http-address</name>
     <value>webhdfs://localhost:50070</value>
 </property>
</configuration>

我已经使用localhost作为地址，假设您使用的是独立的conf，否则您需要找出namenode的名称。另外，它可能只需要hdfs而不是webhdfs作为地址的前缀。

$HADOOP_HOME/bin/stop.dfs.sh
$HADOOP_HOME/bin/hadoop-daemon.sh stop namenode
$HADOOP_HOME/bin/start.dfs.sh
$HADOOP_HOME/bin/hadoop-daemon.sh start namenode