Apache Beam：分布式KV表中的维护状态

Question

我试图更好地理解梁计算模型，并检查我的问题是否可以在该模型内解决。

假设我有一系列事件，

class Event {
    public int userId;
    public int score;
}

我想建立管道：

• 读取事件流

我读过关于有状态处理的内容，据我所知，在StatefulParDo中维护用户的最大分数很容易。但这种状态是如何存储的是Beam实现的细节，而这种状态在StatefulParDo函数之外是不可用的。

是否有可能在某种可供外部消费者（我的管道之外的读取器）使用的KV存储中以定义良好的格式保持这种状态？

Answer 1

因此，您必须选择Beam State API或外部存储系统。

光束状态的确切存储位置由转轮决定。您不能在state API之外直接访问此类状态。

如果您决定使用外部存储路径，则可以从Beam ParDo写入这样的存储系统。但您必须处理读/写时的性能以及此类数据的一致性。此外，您还必须假设任何Beam步骤都可能失败，并且可能会由运行程序重新运行（因此应防止重复写入）。