Amazon Kinesis中的读写事务

Question

我不熟悉动态信息，所以这似乎是一个非常基本的问题，但我还没有找到一个明确的答案来解释动态信息流中读写事务之间的实际区别。

Amazon Kinesis Limits的相关部分：

• GetShardIterator可以为每个打开的碎片每秒提供多达5个事务
• GetRecords可以检索10 MB的数据
• 每个碎片每秒最多可支持5个事务进行读取，最大总数据读取速率为每秒2 MB
• 每个碎片每秒最多可支持1024条记录进行写入，最大总数据写入速率为每秒1 MB（包括分区键）。此写入限制适用于PutRecord和PutRecords等操作

它明确提到每个碎片每秒5次读取和1024次写入。为什么阅读要比写作贵得多，或者这里有一个关键的动作概念我还没有掌握？

Answer 1

常见的用例是，多个制作人将其事件写入动觉。例如，多个web服务器、多个浏览器或多个移动设备。每个生产者可以编写多个事件，一个接一个或以多达500个事件为一批。

另一方面，事件的消费者是少数进程。简单的用例是“慢速”阅读器正在从驱动流中读取一批事件（例如，每10秒10,000个事件），并将它们作为单个日志文件写入S3。

在这种情况下，您正在编写数千个事件（大多是一个接一个），但您每秒只读取一次（或在上例中为10秒）在这段时间内添加到流中的所有事件。因此，写入与读取的比率为1024:1。

在大多数情况下，来自动觉流的消费者数量很少，而不是一个阅读器。例如，在上面的“慢速”读取器之上，您可以有一个“快速”读取器，它正在扫描传入事件并过滤它们或汇总它们的值，以便能够实时做出反应。这种快速读取器可以识别欺诈交易并阻止它们，或者为操作仪表板计算实时计数器。

尽管如此，相对于写操作的数量而言，读取的数量仍然很小。在这种情况下，“快速”读取器将每1/4秒读取一次，以允许对事件进行近实时反应。因此，写入与读取的比率将为1024:5（=1 4）

Answer 2

Kinesis使您能够将粒度数据摄取到流中，并读取记录批次来处理信息。因此，您每秒可以读取的兆字节量比您每个分片获得的读取事务数重要得多。例如，您可能有一个繁忙的网站，每分钟产生数千次浏览，以及一个EMR集群来处理您的访问日志。在这种情况下，您将拥有比读取事件多得多的写入事件。这同样适用于点击流、金融交易、社交媒体提要、IT日志和位置跟踪事件等。