当表很大时，是否可以将SparkSQL与关系数据库一起使用？

Question

我想知道如何使用 Spark SQL 来处理存储在关系数据库中的结构化大数据？我的表格包含超过 40 亿条线（GPS 坐标）。在使用合并操作时，Spark尝试处理内存中的整个表，这是不可能的。我知道 Spark 是“内存中”处理，但就我而言，内存无法容纳整个表。那么，当表很大时，是否可以在关系数据库中使用 spark？

Answer 1

如果要读取的数据大于内存大小，Spark 不会一次将整个数据集缓存到内存中。Spark文件指出：

火花RDD持久性

Spark中最重要的功能之一是跨操作在内存中持久化（或缓存）数据集。当您持久化RDD时，每个节点都会将其计算的任何分区存储在内存中，并在该数据集的其他操作中重用它们

此外，可以将存储级别提供为MEMORY_AND_DISK

MEMORY_AND_DISK：将RDD存储为JVM中的反序列化Java对象。如果RDD不适合内存，请存储不适合磁盘的分区，并在需要时从那里读取它们。

您使用的任何Spark数据结构在内部都使用RDD。

此外，假设您使用 JDBC 连接到外部数据库，您可以指定属性 fetchsize 和 batchsize

获取大小：JDBC获取大小，它决定了每次往返要获取多少行。这可以帮助默认为低获取大小的JDBC驱动程序的性能（例如，具有10行的Oracle）。此选项仅适用于读取。

batchsize ：JDBC 批处理大小，它确定每个往返要插入的行数。这有助于提高 JDBC 驱动程序的性能。此选项仅适用于写入。它默认为 1000。

JDBC到其他数据库

val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .option("fetchsize", "100")
  .load()