SparkSubmit可以在本地运行吗？

Question

当我使用以下命令运行下面的代码时

spark-提交prepiadstream_sample.py--主本地[3]--名称prepiadstream_sample--名称-执行器5--执行器-内存5G--驱动程序-内存5G

虽然我在Spark submit本地运行了配置，但我发现在代码中打印出的配置以客户端的身份返回部署模式，所以Spark不应该使用coniguration命令行

import os
from pyspark.sql import SparkSession
from pyspark.streaming import StreamingContext
import time
from pyspark.sql import Row


print("Creating Spark Session")

spark = SparkSession.builder\
    .getOrCreate()

<b> print(spark.sparkContext.getConf()) </b>

Answer 1

这个问题是按论点的顺序来的。为了让应用程序读取参数，我应该在应用程序名称之前传递所有spark配置参数，否则应用程序将使用spark的默认配置。需要按以下方式发送命令：

spark-submit  --master local[3] --name applicationstream_sample \
--num-executors 5 --executor-memory 5g \
--driver-memory 5g applicationstream_sample.py

我们可以在以下Spark中找到正确编写命令的方法，提交docuemntation并注意他们在commanfd中设置应用程序名称的位置