Kinesis Firehose和Kinesis Streams是根据AWS博客中提到的细节来加载流数据的。在消防水管的情况下,没有碎片或维修的概念。在这种情况下,Kinesis消防软管是Kinesis流的替代品吗?
Kinesis Firehose不是Kinesis Streams的替代品尽管有几个用例,但Kinesis Firehose在引入后已经接管了它。
Kinesis Streams用于缓冲来自生产者的流数据,并将其流到自定义应用程序中进行数据处理和分析,这些应用程序将消耗临时缓冲的流数据。
数据生成器将数据推送到Kinesis流->应用程序从流和进程中读取数据。
这两者也可以结合使用,其中Kinesis流可以将数据流到Kinesis Firehose中,以便在处理后可以持久化。
基于我对Kinesis数据流的阅读,我必须创建一个分析应用程序,然后将用于调用一个lambda。然后,我将不得不使用lambda写入S3。或者Kinesis数据流可以以某种方式直接写入lambda?我找不到任何表明相同的东西。 消防水带不按小时收费(而溪流是)。那么消防水管对我来说是更好的选择吗?
对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向
帐户A是我创建Kinesis流的应用程序帐户,我想在帐户B中创建Firehose来读取帐户A的Kinesis流。这可能吗?我尝试按照(https://medium.com/upday-devs/configure-kcl-to-read-from-a-dariffent-aws-account-16000b26e7ff)的步骤,在帐户A中创建了一个外部访问角色(例如'ARN:aws:iam::11
什么是S3扩展目标配置,在AWS文档中的什么地方清楚地解释了它的用途? null 如果有文章或博客有明确的解释,请提供指针。 我一直在下面的文档中寻找线索,但就像AWS文档一样,它并不清楚。它看起来部分与输入记录转换或记录处理有关。 > Amazon Kinesis Data Firehose API参考-ExtendedS3DestinationConfiguration ExtendedS3D
有没有办法查询AWS Kinesis Firehose的当前统计数据,比如 当前缓冲区中的记录数? 占用了多少缓冲区?