从Kinesis中的两个不同流获取数据？

Question

我正试图成为一个动觉消费者客户。为了解决这个问题，我阅读了《Kinesis开发人员指南》和AWS文档http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.html.

我想知道是否有可能从两个不同的流中获取数据并进行相应的处理。

假设我有两个不同的流，分别是流1和流2。

是否可以分别从流和进程中获取数据？

Answer 1

为什么不呢？两个溪流都get_records。

如果您的流每个只有一个分片，您还将看到所有事件，因为建议使用单个辅助角色处理每个分片，但如果您的逻辑是以某种方式连接来自不同源/流的事件，您可以使用从两个流读取的单个辅助角色来实现它。

请注意，如果您有包含多个碎片的流，那么您的每个工作人员将只看到事件的一部分。您可以有以下选项：

>

一个流（stream1）具有一个碎片，第二个流（stream2）具有多个碎片-在这种情况下，您可以从stream1中读取所有Worker的数据，这也将分别处理stream2中的单个碎片。您的每个工作人员都将看到stream1的所有事件及其在stream2事件中的份额。请注意，您有一个速度限制，可以使用单个碎片（2MB/秒或5次读取/秒）从stream1读取事件，如果stream2中有许多碎片，这可能是一个真正的限制。

这两个流都可以有多个碎片-在这种情况下，由于需要将写入和读取同步到这些流，因此要确保能够“加入”这些事件将更加复杂。您还可以使用一个worker读取两个流的所有碎片，但这不是一个好的做法，因为它限制了您的扩展能力，因为您不再有分布式系统。另一个选项是在两个流中使用相同的partition\u键，并且两个流的碎片数和分区定义都相同，并验证您正在从每个worker中的每个流的“右”碎片中读取数据，并且每次您的一个worker出现故障并重新启动时，您都在正确执行该操作，这可能有点复杂。

您可以考虑的另一个选项是在单个流中写入这两种类型的事件，再次使用相同的partition\u键，然后如果需要以不同的方式处理它们（例如，将它们写入S3中的不同日志文件），则在读卡器端对其进行过滤。