Spark：groupBy花了很多时间

Question

JavaPairRDD<CustomTuple, Map<String, Double>>

public class CustomTuple implements Serializable{

private Map hierarchyMap = null;
private Map granularMap  = null;
private String timePeriod = null;
private String sourceKey  = null;
}

<"Inv", 20>

<"GRP", 30>

1. 在此RDD上应用筛选器，并将相关行的范围移出:filter
2. 在此RDD上应用筛选器，并将相关行的范围移出:filter
3. 加入RDD:join
4. 应用map阶段计算投资:map
5. 应用GroupBy阶段根据所需视图对数据进行分组:GroupBy
6. 应用map阶段来按照上述步骤中实现的分组聚合数据（例如跨时间段查看数据），并根据需要收集的resultset创建新对象:map
7. 收集结果：收集

因此，如果用户想要查看跨时间段的投资，那么将返回下面的列表（这是在上面的步骤4中实现的）：

<timeperiod1, value> 

当我检查操作所用的时间时，GroupBy占用了执行整个DAG所用时间的90%。

<"market1", 20>
<"market2", 30>

蒂亚！

Answer 1

洗牌由[K,v]对键的任何更改或repartition()调用触发。根据K（键）值计算分区。默认情况下，分区是使用键的哈希值计算的，通过hashcode()方法实现。在本例中，键包含两个map实例变量。hashcode()方法的默认实现也必须计算这些映射的hashcode()，从而导致对所有it元素进行迭代，从而再次计算这些元素的hashcode()。

解决办法是：

1. 不要在键中包含map实例。这似乎非常不寻常。
2. 实现并重写您自己的hashcode()，以避免遍历map实例变量。
3. 可能可以完全避免使用map对象。如果它是在多个元素之间共享的，您可能需要考虑在Spark中使用广播变量。在洗牌期间序列化映射的开销也可能是一个很大的原因。
4. 通过在两个连续的组间调整哈希值来避免任何洗牌。
5. 通过选择一个在连续使用期间将分区保持在本地的具有亲和力的分区程序来保持节点本地洗牌。