将原木前移至Kinesis消防软管
对于我的应用程序日志，我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis
但我认为这个插件需要将日志数据转发到Kinesis数据流，然后我们可以创建一个管道到Kinesis消防水管。如果我们指向Kinesis Firehose Delivery stream，那么我们将得到错误-ResourceNotFoundException消息：帐户XXXX下的stream test未找到
但是如果我们把原木藏指向Kinesis数据流，然后把它管道到Kinesis消防水管，那么它就工作得很好。
有没有人使用这个log-stashoutput插件将日志数据直接转发到Kinesis Firehose。
共有1个答案
logstash-output-kinesis使用Kinesis生产者库(KPL)将数据写入Kinesis流。到目前为止，KPL不支持直接写到消防水管。-https://github.com/awslabs/amazon-kinesis-producer/issues/29
另外，Firehose和Kinesis有不同的服务endpoint，在logstash-output-kinesis项目中，似乎只有设置Kinesisendpoint的选项。因此，即使您在配置中指定了一个有效的现有Firehose名称，由于endpoint集是AWS kinesis的endpoint集，您也应该看到“ResourceNotFoundException”。-https://github.com/samcday/logstash-output-kinesis/blob/acffae5beddcf00aa599c1fa75428f57bb7e7e30/lib/logstash/outputs/kinesis.rb#l55
-
Json格式对我来说很好，数据被加载到redshift表中。 用于JSON的复制命令： 从's3://foldername/'CREDENTIALS'aws_iam_role=arn:aws:iam:::role/'MANIFEST json'auto'复制products_json； 用于CSV的复制命令： 从's3://foldername/'CREDENTIALS'aws_iam_role=
-
null 我如何解决这个问题？
-
Kinesis Firehose和Kinesis Streams是根据AWS博客中提到的细节来加载流数据的。在消防水管的情况下，没有碎片或维修的概念。在这种情况下，Kinesis消防软管是Kinesis流的替代品吗？
-
有没有办法查询AWS Kinesis Firehose的当前统计数据，比如 当前缓冲区中的记录数？ 占用了多少缓冲区？
-
帐户A是我创建Kinesis流的应用程序帐户，我想在帐户B中创建Firehose来读取帐户A的Kinesis流。这可能吗？我尝试按照(https://medium.com/upday-devs/configure-kcl-to-read-from-a-dariffent-aws-account-16000b26e7ff)的步骤，在帐户A中创建了一个外部访问角色（例如'ARN:aws:iam::11