动觉生产者回调函数-保证交付？

Question

每天向Kinesis发送数十亿条信息。

我们正在寻找一种实现，它允许我们以精确一次的保证将消息传递给Kinesis。

我们的producer框架要求流式接收器对于一次交付保证是幂等的，而Kinesis则不是。所以我们目前至少有一次发货。（复制是可能的，我们确实看到了它们，无论出于何种原因，流式微批次必须在生产商端重新启动）

我们开始研究Kinesis Producer Library（KPL）回调函数。基本上，我们将根据每条消息中存在的密钥跟踪DynamoDB中传递的消息和未传递的消息的状态。如果我们知道已经发送了一条消息，我们将跳过它进行重新尝试。那么，似乎只有一次可能。。有两个问题：

1） 我们唯一的问题是——我们失去回调函数调用的可能性有多大（例如，网络故障等），或者回调函数本身失败（例如，我们遇到了DynamoDB限制/中断等）——这是否有文档记录？我知道可能性不高，但我们希望设计一个系统，能够适应像这样的预期。

2）时机。假设Kinesis出于任何原因调用了具有延迟的回调函数（5-15毫秒足以打破上述回调函数中的一些假设，这些回调函数在DynamoDB中保持交付状态）。虽然我们还没有收到关于交付的确认，但我们的流媒体生产者框架已尝试重新交付它认为尚未交付的内容。这个潜在问题有什么解决办法吗？

PS。我们知道解决方法之一是在应用程序端（来自运动流的接收器）进行dedups，但这超出了我们的项目，我们有一个硬性要求，即精确地进入运动流。

Answer 1

对于#1，您走的任何路径都会发现自己处于可能导致数据丢失或重复调用的边缘情况。如果消费者不参与该协议，即使使用两阶段提交协议在这里也不起作用。

对于#2，运动是有序的，因此如果您确实获得了重复的，您应该能够可靠地假设它们将位于同一个碎片上，因此在另一个读卡器仍在处理时不会进行处理（假设每个碎片有一个读卡器）。在调用DynamoDB时，只需确保您使用的是强一致的读取。