在 Ubuntu 14.04 上安装 Apache Spark

Question

起初，我有一个通过 ubuntu 访问的 VM，这个 VM 也是 Ubuntu 14.04。我需要尽快安装 Apache Spark，但我找不到任何可以帮助我或给我最好解释的参考的东西。我曾经尝试在我的本地机器 Ubuntu 14.04 上安装它，但它失败了，但问题是我不想在集群上安装它。请帮忙吗???

Answer 1

这篇文章解释了在 Ubuntu/Linux 机器中设置 Apache Spark-2.0 的详细步骤。为了在 Ubuntu 中运行 Spark，机器应该安装 Java 和 Scala。Spark可以在有或没有Hadoop的情况下安装，在这篇文章中，我们将只处理安装Spark 2.0 Standalone的问题。在Hadoop上安装Spark-2.0在另一篇文章中进行了解释。我们还将介绍如何安装Jupyter笔记本，以便使用带有pyspark模块的Python运行Spark应用程序。因此，让我们从检查和安装 java 和 scala 开始。

$ scala -version
$ java –version

如果已经安装了 scala 和 java，这些命令应该会打印出这些版本，否则您可以使用以下命令去安装这些版本。

$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer
$ wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
$ sudo mkdir /usr/local/src/scala
$ sudo tar xvf scala-2.10.4.tgz -C /usr/local/scala/

您可以使用 –version 命令再次检查 java 和 scala 是否正确安装，这将显示 – Scala 代码运行器版本 2.10.4 -- 版权所有 2002-2013，LAMP/EPFL，对于 java，它应该显示 java 版本“1.8.0_101” Java（TM） SE 运行时环境（内部版本 1.8.0_101-b13） Java HotSpot（TM） 64 位服务器虚拟机（内部版本 25.101-b14， 混合模式）并通过在末尾添加这些行来更新 .bashrc 文件。

export SCALA_HOME=/usr/local/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH

并使用此命令重新启动 bashrc。

$ . .bashrc

安装Spark First 使用以下选项从 https://spark.apache.org/downloads.html 下载Spark Spark Realease：2.0.0软件包类型：预构建Hadoop 2.7和直接下载。

现在，转到$HOME/下载并使用以下命令提取 spark tar 文件并移动到给定位置。

$ `tar xvf spark-1.3.1-bin-hadoop2.6.tgz`
$ `cd $HOME/Downloads/` 
$ mv spark-2.0.0-bin-hadoop2.7 /usr/local/spark

将以下行添加到 ~/.bashrc 文件。这意味着将 Spark 软件文件所在的位置添加到 PATH 变量中。

export SPARK_HOME=/usr/local/spark
export PATH =$SPARK_HOME/bin:$PATH

再次使用这些命令重新启动环境 .bashrc 源 ~/.bashrc 或

. .bashrc

现在您可以使用以下命令启动 spark-shell

$spark-shell    for starting scala API
$ pyspark       for starting Python API

Answer 2

要遵循的过程主要是这样的：

确保已安装版本 7 或 8 的 Java 开发工具包

在下一步中安装 Scala。

然后在 ~/.bashrc 文件的末尾添加以下内容

export SCALA_HOME=<path to Scala home>
export PATH=$SCALA_HOME/bin:$PATH

重新启动 bashrc。

$ . .bashrc

在下一步中安装 git。Spark 构建取决于 git。

sudo apt-get install git

最后从这里下载火花分发

$ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.4.0.tgz
$ tar xvf spark-1.4.0.tgz 

SBT（简单构建工具）用于构建Spark，它与它捆绑在一起。编译代码

$ cd spark-1.4.0
$ build/sbt assembly

构建需要一些时间。

请参阅这篇博客文章，在这里您可以找到在 Ubuntu-14.04 上安装 Apache Spark 的更详细步骤

Answer 3

您可以通过三个简单的步骤安装并开始使用 spark：

>

从这里下载最新版本的Spark。

从终端导航到下载的文件夹并运行以下命令：

tar -xvf spark-x.x.x.tgz        //replace x's with your version

导航到提取的文件夹并运行以下命令之一：

./bin/spark-shell               // for interactive scala shell
./bin/pyspark                   // for interactive python shell

您现在可以玩火花了。