无法在Google Colab上安装PySpark

Question

我试图使用下面给出的代码在Google Colab上安装PySpark，但出现以下错误。

此代码已成功运行一次。但它在笔记本重启后抛出此错误。我甚至尝试过从不同的Google帐户运行它，但再次出现相同的错误。

（还有什么方法可以让我们在笔记本重新启动后不需要每次安装PySpark？）

!apt get安装openjdk-8-jdk-headless-qq

!wget-qhttp://apache.osuosl.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz

以下这一行似乎导致了问题，因为它找不到下载的文件。

焦油xvfspark-2.3.2-bin-hadoop2.7.tgz

我还尝试了媒体博客上建议的以下两行（而不是上面的两行）。但没有比这更好的了。

!wget-qhttp://mirror.its.dal.ca/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

焦油xvfspark-2.4.0-bin-hadoop2.7.tgz

!pip安装-q findspark

有没有办法摆脱这个错误并在Colab上安装PySpark？

Answer 1

您之所以会遇到此错误，是因为官方网站和镜像网站上的spark-2.3.2-bin-hadoop2.7已被最新版本替换。

转到此路径中的任何一个并获取最新版本

1. http://apache.osuosl.org/spark/
2. https://www-us.apache.org/dist/spark/

替换火花构建版本，你就完成了。每件事都将顺利进行。

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
!tar xf /content/spark-2.4.3-bin-hadoop2.7.tgz
!pip install -q findspark

Answer 2

日期：2020年9月6日

步骤1：在google colab上安装pyspark

!pip install pyspark

步骤2：在spark会话中处理熊猫和spark数据帧

!pip install pyarrow

它促进了许多组件之间的通信，例如，使用Python（熊猫）读取拼花文件并转换为Spark数据帧、Falcon数据可视化或Cassandra，而无需担心转换。

步骤3：创建Spark会话

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').getOrCreate()

多恩⭐

Answer 3

我正在colab上运行pyspark，只需使用

!pip安装pyspark

而且效果很好。