无接收器火花蒸汽驱动方法

Question

对于使用kafka的Spark流，我们使用Directstream，这是一种无接收器的方法，并将kafka分区映射到Spark RDD分区。目前，我们有一个应用程序，其中我们使用Kafka直接方法并在RDBMS中维护我们的on偏移，

我们有类似的Kinesis吗？当我阅读火花-Kinesis集成的留档时，感觉检查点有所不同。以下是我遇到的一些问题

1. 使用kinesis流是否将kinesis碎片映射到RDD分区？如果我在传入RDD上使用forEachPartition，是否可以在shard级别维护有序处理
2. 从文档中可以看出，kinesis在dynamoDB中维护单独的检查点？我们不能忽略它，使用我们自己的抵销管理吗
3. 在动画片中。createStream api我看到对于[初始位置]变量，它只接受最新或TRIM\u地平线。在这种情况下，我怎么能不能像在Kafka案例中那样提供要偏移的碎片地图

如果我们的应用程序是幂等的，我们怎样才能得到精确的一次处理？

Answer 1

使用kinesis流是否将kinesis碎片映射到RDD分区？

否，如文档中所述，Kinesis碎片和RDD分区之间没有1:1的映射：

在输入数据流处理期间，Kinesis流碎片的数量与Spark集群中创建的RDD分区/碎片的数量之间没有相关性。这是两个独立的分区方案

如果我在传入RDD上使用forEachPartition，是否可以在shard级别维护有序处理？

每个创建的分区，内部保持顺序（不确定是否有帮助）：

动觉数据处理按分区排序，每个消息至少发生一次。

从文档中可以看出，kinesis在dynamoDB中维护单独的检查点？我们不能忽略它，使用我们自己的抵销管理吗？

不，您受到使用DyanmoDB作为后备存储的Kinesis客户端实现的约束。

在动画片中。createStream api我看到对于[初始位置]变量，它只接受最新或TRIM\u地平线。在这种情况下，我怎么能不能像在Kafka案例中那样提供要偏移的碎片地图？

不。没有提供等效的Kafka偏移量。

如您所见，当前的Kinesis API实现限制了您。如果您需要偏移存储和恢复的灵活性，并且希望实现一次语义，那么也可以考虑使用Kafka来实现此解决方案。