Spark csv读取速度非常慢，尽管我增加了节点数

Question

我在Google Compute Engine上创建了两个集群，这些集群读取100 GB的数据。

集群I：1个主机-15 GB内存-250 GB磁盘10个节点-7.5 GB内存-200 GB磁盘

集群II：1主-15 GB内存-250 GB磁盘150节点-1.7 GB内存-200 GB磁盘

我用它来读取文件：

val df = spark.read.format("csv")
    .option("inferSchema", true)
    .option("maxColumns",900000)
    .load("hdfs://master:9000/tmp/test.csv")

另外，hadoop的复制或移动命令也很慢。数据只有100 GB。大公司如何处理太字节的数据？我无法捕捉到数据读取速度的增加。

谢谢你的回答

Answer 1

Dr Spark SQL（以及Spark和其他共享类似体系结构和设计的项目）主要是为了处理长数据和（相对）窄数据而设计的。这与您的数据完全相反，输入范围很广，（相对）很短。

请记住，尽管Spark使用列格式进行缓存，但它的核心处理模型处理数据行（记录）。如果数据很宽但很短，这不仅限制了分发数据的能力，更重要的是，会导致非常大的对象的初始化。这对整个内存管理和垃圾收集过程（对于JVM GC来说是大型对象）有不利影响。

在Spark SQL中使用非常广泛的数据会导致额外的问题。就查询中使用的表达式而言，不同的优化器组件具有非线性复杂性。对于数据较窄(<1k列），这通常不是问题，但对于较宽的数据集，这很容易成为瓶颈。