如何在Azure HDInsight上向Hadoop YARN提交Apache Spark作业

Question

也许一定有一个更合适的方式来提交火花工作。有人知道如何将Apache Spark作业远程提交到hDinsight吗？

多谢！

Answer 1

您可以在hdinsight集群上安装spark。您必须创建一个自定义集群，并添加一个操作脚本，该脚本将在为集群创建VM时在集群上安装Spark。

在集群安装中使用操作脚本进行安装非常容易，您可以在C#或powershell中通过向标准的自定义创建集群脚本/程序中添加几行代码来完成。

PowerShell：

# ADD SCRIPT ACTION TO CLUSTER CONFIGURATION
$config = Add-AzureHDInsightScriptAction -Config $config -Name "Install Spark" -ClusterRoleCollection HeadNode -Urin https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1

// ADD THE SCRIPT ACTION TO INSTALL SPARK
clusterInfo.ConfigActions.Add(new ScriptAction(
  "Install Spark", // Name of the config action
  new ClusterNodeType[] { ClusterNodeType.HeadNode }, // List of nodes to install Spark on
  new Uri("https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1"), // Location of the script to install Spark
  null //because the script used does not require any parameters.
));