Spark只运行一个执行程序，同时尝试从Oracle表将数据读写到HDFS

Question

我正在使用使用 Spark 的 JDBC 连接连接到预言机数据库，并尝试读取包含 4000 万行的预言机表。我在启动火花外壳/提交时为每个执行器使用30个执行器，5个执行器核心和4g内存。在读取数据帧的计数或尝试写入数据帧的数据时，它仅使用一个执行器从预言机读取/写入数据。已尝试对数据帧进行重新分区，但仍仅使用 1 个执行程序，导致性能大幅下降。

以下是使用的语法，非常感谢任何建议。

命令段：-

spark-shell --executor-memory 4G --executor-cores 5 --num-executors 30
val source_df = spark.read.format("jdbc").option("url", JDBC_URL).option("dbtable", src_table).option("user", *****).option("password", *****).option("driver", "oracle.jdbc.driver.OracleDriver").option("numPartitions", 40).option("partitionColumn", "*****").option("lowerBound", 1).option("upperBound", 100000).load()

val df_1_msag=source_table_DF_raw_msag.repartition(40)
df_1_msag.count

[Stage 0:=======================================================> (39 + 1

Answer 1

oracle db中允许用户的并发连接数也很重要。

https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

numPartitions＜br＞可用于表读写并行的最大分区数。这还决定了并发JDBC连接的最大数量。如果要写入的分区数超过此限制，我们在写入之前通过调用coalesce（numPartitions）将其减少到该限制。