在Google Colab上安装Spark时出错

Question

我在Google Colab上安装火花时出错。它说

tar：spark-2.2.1-bin-hadoop2.7.tgz：无法打开：没有这样的文件或目录tar：错误不可恢复：现在退出。

这是我的步骤

• ！ apt-get install openjdk-8-jdk-head less-qq

在此输入图像描述

Answer 1

这是正确的代码。我只是测试了一下。

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q http://mirrors.viethosting.com/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
!tar xf spark-2.4.4-bin-hadoop2.7.tgz
!pip install -q findspark

Answer 2

此错误与代码第二行中使用的链接有关。以下代码片段在Google Colab上对我有用。不要忘记将spark版本更改为最新版本，并相应地更改spark-HOME路径。您可以在此处找到最新版本：https://downloads.apache.org/spark/

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz
!tar -xvf spark-3.0.0-preview2-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.0.0-preview2-bin-hadoop2.7"
import findspark
findspark.init()

Answer 3

问题是由于您用于下载spark的下载链接导致的：

<代码>http://apache.osuosl.org/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz

要下载spark而没有任何问题，您应该从他们的存档网站下载它（https://archive.apache.org/dist/spark ）。

例如，以下来自存档网站的下载链接可以正常工作：

<代码>https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz

以下是安装和设置java、spark和pyspark的完整代码：

# innstall java
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

# install spark (change the version number if needed)
!wget -q https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz

# unzip the spark file to the current folder
!tar xf spark-3.0.0-bin-hadoop3.2.tgz

# set your spark folder to your system path environment. 
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.0.0-bin-hadoop3.2"


# install findspark using pip
!pip install -q findspark

对于python用户，还应该使用以下命令安装pyspark。

<代码>！pip安装pyspark