在Spark中处理大量数据框/数据集/RDD

Question

好吧，我对使用Scala/Spark还比较陌生，我想知道是否有一种设计模式可以在流媒体应用程序中使用大量数据帧（几个100k）？

在我的示例中，我有一个SparkStreaming应用程序，其消息负载类似于：

{"user_id":123, "data":"ABC"}
{"user_id":456, "data":"DEF"}
{"user_id":123, "data":"GHI"}

因此，当用户id为123的消息传入时，我需要使用特定于相关用户的SparkSQL拉入一些外部数据，并将其本地缓存，然后执行一些额外的计算，然后将新数据持久保存到数据库中。然后对流外传入的每条消息重复该过程。

现在我的问题是，我想缓存为每个用户拉入的数据，然后在每次需要为该用户处理来自流的消息时重用用户数据的缓存副本（如果存在）。我有数百万可能的用户，在任何给定时刻都有大约10万个活动用户，我将跨多个（大约50个）执行器处理这些数据。

我知道缓存的数据帧/RDD会耗尽内存，但如果我将每个用户缓存的计算数据存储在映射中，以便在每个执行器上本地快速查找和检索，例如：

Map[id: INT, user_data: DataFrame]

我是否会创建这样一个场景，即我保留对旧数据帧的引用，而这些旧数据帧永远不会得到GC，因为我有对它们的活动引用，并且最终会耗尽内存？

我是否遗漏了一些基本的东西，是否有更好更有效的方法来实现这一点？

谢谢，任何帮助都非常感谢！

Answer 1

如果用户元数据是静态的，我只需保留一个包含所有用户id和元数据的地图，并将其广播给工作人员。当您处理这样的小地图时，这是最有效的解决方案。更困难的情况是，这个“地图”需要及时更新。在这种情况下，我会定期将数据加载到rdd中，并将其作为管道的一部分与流数据连续连接。