当前位置: 首页 > 知识库问答 >
问题:

Spark SQL无法访问Spark节俭服务器

法烨烨
2023-03-14

我无法配置Spark SQL,使我能够访问Spark Thrift服务器中的配置单元表(不使用JDBC,而是从Spark本地)

from pyspark.sql import HiveContext
hc = HiveContext(sc)
hc.sql('show tables')

错误XJ040:无法使用类加载器sun.misc.launcher$AppClassLoader@1B4FB997启动数据库“/home/user/spark-2.4.0-bin-hadoop2.7/mistastore_db”

错误XSDB6:另一个Derby实例可能已经引导数据库/home/user/spark-2.4.0-bin-hadoop2.7/metastore_db

pyspark.sql.utils.analysisException:u'java.lang.runtimeException:java.lang.runtimeException:无法实例化org.apache.hadoop.hive.ql.metadata.sessionHiveMetaStoreClient;

显然,Spark试图创建新的Derby数据库,而不是使用我放在配置文件中的Metastore。如果我停止节俭服务器,只运行spark,一切都很好。我怎么能修好它?

嵌入式Derby Metastore数据库是否可以同时使用Thrift Server和Spark访问一个Hive,或者我需要使用例如MySQL?我没有集群,一切都在本地做。

共有1个答案

寿亦
2023-03-14

嵌入式Derby Metastore数据库可以在本地环境中使用,但对于生产环境,建议使用任何其他Metastore数据库。是的,您绝对可以使用MYSQL作为Metastore。为此,必须在hive-site.xml中输入一个条目。

您可以在Use MySQL for the Hive Metastore上查看配置指南以了解确切的细节。

 类似资料:
  • 我正在尝试安装apache节俭服务器。我安装了spark、hadoop和Yarn。我配置了hive metastore并成功启动了metastore和hiveserver2:nohup hive--服务metastore>/var/log/hive/metastore.log&nohup hive--服务hiveserver2>/var/log/hive/hiveserver2.log& hive

  • 工作节点1上的Curl对群集IP来说是最合适的(这是运行pod的节点) Curl在其他工作节点上也失败:

  • 我已经安装了Jenkins和Sonarqube5.1.1(也尝试了LTS),它运行在Ubuntu服务器上,可以从外部访问。我已经安装了Jenkins SonarQube插件,一切都差不多工作了。如果我在Jenkins中将SonarQube服务器URL设置为localhost,那么一切都很好。但是到SonarQube(在Jenkins内部)的链接将指向localhost,当我从外部访问Jenkins

  • 如何将PHP应用程序连接到spark sql节俭服务器? 我想不出问题出在哪里。

  • 我无法通过集装箱中的港口连接到django。我使用的地址是:0.0.0.0.:8000,请参阅:http://joxi.ru/Dr8MeGLhkBWnLm.我正在用一个命令创建一个图像和一个容器:“docker compose up-d”。 docker-compose.yaml Dockerfile 如何解决此问题?

  • 停止服务器后日志文件的其余部分如下: 以下是我在sonar.properties文件中编写的一些属性: sonar.web.host=172.31.254.181 sonar.web.context=/sonar sonar.web.port=9000 sonar.jdbc.username=sonar sonar.jdbc.password=sonar sonar.jdbc.url=jdbc:m