在AWS lambda函数上使用pyspark二进制文件时，错误Java网关进程在向驱动程序发送端口号之前退出

Question

我的lambda函数（python 3.6）有问题，lambda函数使用pyspark(Spark-2.3.0-bin-Hadoop2.7二进制文件）。

由于pyspark二进制文件相当大（226 MB压缩文件），我将压缩文件上传到了一个S3 bucket中。lambda函数将把文件解压缩到/tmp文件夹中。解压缩pyspark后，将为文件夹和文件授予权限：

for root, dirs, filenames in os.walk(/tmp/spark):
    for d in dirs:
        os.chmod(os.path.join(root, d), 0o775)
    for f in filenames:
        os.chmod(os.path.join(root, f), 0o775)

sys.path.append('/tmp/spark/python')
sys.path.append('/tmp/spark/python/lib/py4j-0.10.6-src.zip')

from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SQLContext
from pyspark.sql import SparkSession
from pyspark.sql.types import *

...
...
sc = SparkContext(appName="ProjectCSV")
sqlContext = SQLContext(sc)
...
...

Java gateway process exited before sending the driver its port number

os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[2] pyspark-shell"

仍然报告相同的错误。

任何想法或建议，可能是什么问题，我如何解决这个问题？

Answer 1

尝试检查环境中是否设置了JAVA_HOME。如果没有，java可能还没有安装。