将数据导入Spark时，如何设置分区/节点的数量

Question

问题：我想使用以下命令将数据从S3导入Spark EMR：

data = sqlContext.read.json("s3n://.....")

我是否可以设置Spark用于加载和处理数据的节点数？这是我如何处理数据的示例：

data.registerTempTable("table")
SqlData = sqlContext.sql("SELECT * FROM table")

上下文:数据不太大，加载到Spark和查询需要很长时间。我认为Spark将数据分割成了太多的节点。我希望能够手动设置。我知道在处理rdd和< code > sc . parallelism 时，我可以将分区数量作为输入传递。还有，我看过< code>repartition()，但是不确定是否能解决我的问题。在我的例子中，变量< code>data是一个< code>DataFrame。

让我更精确地定义分区。定义一：通常称为“分区键”，其中选择一列并建立索引以加快查询速度（这不是我想要的）。定义二：（这是我关心的地方）假设您有一个数据集，Spark决定将其分布在许多节点上，以便它可以并行运行对数据的操作。如果数据大小太小，这可能会进一步减慢过程。我如何设置该值

Answer 1

“输入”分区的数量由文件系统配置固定。

1Go的1个文件，块大小为128M会给你10个任务。我不确定你能改变它。

重新分区可能非常糟糕，如果你有很多输入分区，这将在分区之间产生大量的随机（数据流量）。

没有神奇的方法，你必须尝试，并使用webUI查看生成了多少任务。

Answer 2

您可以在dataframe上调用重新分区（）来设置分区。您甚至可以在创建hive上下文后或通过传递给spark-提交jar来设置spark.sql.shuffle.partitions此属性：

spark-submit .... --conf spark.sql.shuffle.partitions=100

或者

dataframe.repartition(100)

Answer 3

默认情况下，它分为 200 个集。您可以通过在sql context sqlContext.sql（“set spark.sql.shuffle.partitions=10”）中使用set命令来更改它;。但是，您需要根据数据特征谨慎设置。