RDD数据的并行化级别

Question

假设我有一个具有以下类型的 RDD：

RDD[(Long, List(Integer))]

我可以假设整个列表位于同一个工人吗？我想知道某些操作在RDD层面上是否可以接受，还是应该在车手层面计算。例如:

val data: RDD[(Long, List(Integer))] = someFunction() //creates list for each timeslot

请注意，该列表可能是汇总或任何其他操作的结果，不一定是作为一个整体创建的。

val diffFromMax = data.map(item => (item._1, findDiffFromMax(item._2)))

def findDiffFromMax(data: List[Integer]): List[Integer] = {
  val maxItem = data.max
  data.map(item => (maxItem - item))
}

问题是< code>List是分布式的，计算< code>maxItem可能会导致大量网络流量。这可以用以下类型的RDD来处理:

RDD[(Long, Integer /*Max Item*/,List(Integer))]

其中，最大项目是在驱动程序中计算的。

所以问题（实际上是两个问题）是：

1. 在RDD数据的哪个点上，我可以假设数据位于一个工作人员处？（参考医生或个人评估的答案会很好）如果有的话？在元组内部的元组的情况下会发生什么：＜code＞（（长，整数），Double）＜/code＞
2. 使用Tuples设计算法的常见做法是什么？我是否应该始终将数据视为可能出现在不同员工身上？我是否应该总是在第一个元组字段将其拆分为最小粒度-对于在时隙（Long）中存在用户（String）的数据（Double）的情况-数据应该是（Long，（Strong，Double，）或（Long、String）、Double或（String，Long，Double））？或者这不是最优的，矩阵更好

Answer 1

简短的回答是肯定的，您的列表将位于单个工作人员中。

您的元组是RDD中的单个记录。单个记录始终在单个分区上（将在单个工作人员上）。当您执行findDiffFromMax时，您正在目标工作人员上运行它（因此该函数被序列化为要运行的所有工作人员）。

您应该注意的是，当您生成（k， v）的元组时，通常这意味着键值对，因此您可以在RDD上进行基于键的操作。顺序（（Long，（强，双））vs.（（Long， String），双）或任何其他方式）并不重要，因为它都是一条记录。唯一重要的是哪个键是执行键操作的键，所以问题是您计算的逻辑