EC2上带有Spark的IPython笔记本：初始作业尚未接受任何资源

Question

我试图在IPython笔记本中运行简单的WordCount作业，并将Spark连接到AWS EC2集群。当我在本地独立模式下使用Spark时，该程序可以很好地工作，但当我试图将其连接到EC2集群时，该程序会出现问题。

我已采取以下步骤

[Stage 0:>                                                          (0 + 0) / 2]16/08/05 15:18:03 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

我已经看到了这个Stackoverflow帖子，并通过在main命令后使用这些选项将核心数减少到1，内存减少到512

--total-executor-cores 1 --executor-memory 512m

来自SparkUI的屏幕截图如下所示

这清楚地表明，核心和UI都没有得到充分利用。

Answer 1

您不能提交作业，除非您设置了基于REST的Spark作业服务器，否则只能在主服务器上提交作业（如您所见）。