当前位置: 首页 > 面试题库 >

如何使用PySpark加载IPython Shell

令狐俊风
2023-03-14
问题内容

我想加载IPython外壳(不是IPython笔记本),可以在其中通过命令行使用PySpark。那可能吗?我已经安装了Spark 1.4.1。


问题答案:

如果使用Spark <1.2,则可以简单地bin/pyspark使用环境变量执行IPYTHON=1

IPYTHON=1 /path/to/bin/pyspark

要么

export IPYTHON=1
/path/to/bin/pyspark

尽管以上内容仍可在Spark 1.2及以上版本上正常使用,但建议为这些版本设置Python环境的方法是 PYSPARK_DRIVER_PYTHON

PYSPARK_DRIVER_PYTHON=ipython /path/to/bin/pyspark

要么

export PYSPARK_DRIVER_PYTHON=ipython
/path/to/bin/pyspark

您可以替换ipython为您选择的解释器的路径。



 类似资料:
  • 那么,如何使用PySpark向现有的DataFrame添加一个新列(基于Python vector)呢?

  • 问题内容: 我已经在服务器上加载了一个CSS文件,所以我有一个URL。如何使用JQuery将其加载到我的Perl代码中? 所以目前我正在对梅森页面中的css进行硬编码,而该页面中缺少这样的内容 我想避免对此CSS进行硬编码? 问题答案: 我不明白为什么您不能只在该部分中插入元素,但这是一个jQuery代码片段:

  • 我是flutter的新手,上周才开始。我正在从在线课程中学习,然后我想在我的flutter应用程序中加载一个图像。但有一个错误是:

  • 问题内容: 我需要检查(使用Javascript)是否已加载CSS文件,如果未加载,则进行加载。jQuery很好。 问题答案: 只需检查一下是否存在一个元素,并将其属性设置为CSS文件的URL: 使用document.styleSheets集合,普通的JS方法也很简单:

  • 我正在尝试使用PySpark用Python运行Spark graphx。我的安装似乎是正确的,因为我能够很好地运行pyspark教程和(Java)GraphX教程。大概既然GraphX是Spark的一部分,pyspark应该可以接口它,对吗? 以下是Pyspark的教程:http://spark.apache.org/docs/0.9.0/quick-start.html http://spark

  • 我使用的是spark 2.4.7和spark-snowflake 2.8.4,以及snowflake jdbc 3.12.17。我在Mac OS X Big Sur上。这发生在我升级到大苏尔之后,尽管我不确定这是否有关系。 我试过: 将bouncy castle提供程序作为包依赖项添加到我的配置中 检查是否指向Java 8(它确实指向) 重新安装java 8(使用homebrew和adoptope