如何安装pyspark以在独立脚本中使用？

Question

我正在尝试将Spark与Python结合使用。我从下载页面安装了适用于Hadoop
2二进制发行版的Spark 1.0.2
。我可以在Python交互模式下浏览快速入门示例，但是现在我想编写一个使用Spark的独立Python脚本。该快速启动文件说只进口pyspark，但这并不工作，因为这不是我的PYTHONPATH。

我可以运行bin/pyspark并看到模块安装在下方SPARK_DIR/python/pyspark。我可以手动将其添加到我的PYTHONPATH环境变量中，但是我想知道首选的自动化方法。

添加pyspark对独立脚本的支持的最佳方法是什么？我setup.py在Spark安装目录下没有任何地方。如何为依赖Spark的Python脚本创建pip包？

Answer 1

您可以按照建议手动设置PYTHONPATH，这在本地安装上测试独立的非交互式脚本时可能对您很有用。

但是，（py）spark只是关于将您的作业分配到群集上的节点。每个集群都有一个定义管理器和许多参数的配置。有关设置的详细信息，请参见此处，并包括一个简单的本地群集（这可能对测试功能很有用）。

在生产中，您将通过spark-
submit提交任务以引发spark，这会将您的代码分发到群集节点，并为它们在这些节点上运行创建上下文。但是，您确实需要确保节点上的python安装具有所有必需的依赖关系（建议的方式），或者确保依赖关系随代码一起传递（我不知道它是如何工作的）。