AWS Kinesis低通量

Question

设置：Kinesis流是一个带有一个碎片的实例。生产者位于与Kinesis流相同的区域中的专用AWS EC2实例(T3.Medium)上。它创建大约20个字符长度的字符串，并通过boto.Kinesis.connection.put_record（“my_stream”,my_message)将它们发送到Kinesis流。

简化代码：

from boto import kinesis
import time

connection = kinesis.connect_to_region(REGION)
stream = connection.create_stream("my_stream", shard_count=1)
time.sleep(60)  # wait a minute until stream is created

for i in range(NUM_MESSAGES): 
    my_message = "This is message %d" % i
    connection.put_record(my_message, "my_stream", "partition_key")

Answer 1

http://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

限制是记录/秒，您应该使用putRecords来提高写吞吐量。这样做的方法是在同一个调用中放置多条记录。所以你继续追加，最后你做put记录。

还有
看一下：https://github.com/awslabs/kinesis-poster-worker