在保留键的同时对值应用PTransform

Question

我似乎正在与光束中的这种模式作斗争。这是一个流式管道。

在高水平上：

• 消息传入兔子
• 消息内容包括一个ID和N个S3文件路径
• 我希望在列出的所有S3文件中产生一些聚合，但结果应该由原始消息键控
• 向rabbit写一条带有聚合结果的消息，每个传入消息一条

不可避免的是，我最终得到了一些pCollection[kv[MessageId,S3FilePaths]]，并希望在S3FilePaths上应用一系列pTransforms，但不要忘记它们最初是由MessageId键控的。

我似乎找不到一个通用的“映射KV pcollection的值但保留密钥”功能，我认为我必须使用PTransform（与dofn)相反），因为文件IO已经全部实现为pTransforms。

我是不是从根本上想错了？任何帮助都是非常感谢的。

更新：抱歉对细节不够详细。在一个令人沮丧的周五结束时发布这篇文章是我自己的错。

我有几个基本的绊脚石：

null

在这一点上，我有一些工作的端到端。我的代码实际上是用scio编写的，所以共享有点棘手，但级别很高：

1. 在固定的1秒窗口中使用repeatedly.forever(Afterprocessingtime.PastFirstElementInpane())触发器读取RabbitMQ，并小心使用processContext.output在整个窗口中保留窗口和时间戳
2. 始终使用pcollection[(MessageId,V)](scalatuple2语法）的一般形状。当v是S3文件的路径时，我使用发出文件内容的路径中的ptransform
3. 聚合是在分组到pcollection[kv[(MessageId,FileElementId）,FileElement]]之后进行的，然后再还原到pcollection[MessageId,FileElement]以便保留减少每个传入消息的语义。

第二个让我有点失望。我希望能够利用beam文件系统函数从文件中读取，并将每个输出与指定的消息id组合在一起。但我现在处境很好。

Answer 1

如果kv 只接受keyt或valuet，则无法将转换应用于kv 。如果在对值应用转换时需要保留键，那么推荐的方法是编写自己的dofns，它可以接受kV，但忽略键，或者重组管道，这样就不会依赖于需要删除键的转换的输出。