当前位置: 首页 > 知识库问答 >
问题:

通过Kinesis流或消防软管写入S3

封德华
2023-03-14

基于我对Kinesis数据流的阅读,我必须创建一个分析应用程序,然后将用于调用一个lambda。然后,我将不得不使用lambda写入S3。或者Kinesis数据流可以以某种方式直接写入lambda?我找不到任何表明相同的东西。

消防水带不按小时收费(而溪流是)。那么消防水管对我来说是更好的选择吗?

共有1个答案

戚研
2023-03-14

或者Kinesis数据流可以以某种方式直接写入lambda?

数据流不能直接写入S3。相反,消防水管可以做到这一点:

将实时流数据传送到目的地,如Amazon Simple Storage Service(Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service(Amazon ES)、Splunk,以及任何自定义HTTPendpoint或受支持的第三方服务提供商(包括Datadog、MongoDB和New Relic)拥有的HTTPendpoint。

 类似资料:
  • Kinesis Firehose和Kinesis Streams是根据AWS博客中提到的细节来加载流数据的。在消防水管的情况下,没有碎片或维修的概念。在这种情况下,Kinesis消防软管是Kinesis流的替代品吗?

  • null 我如何解决这个问题?

  • 对于我的应用程序日志,我计划将日志从我的内部服务器转发到AWS Kinesis Firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流,然后我们可以创建一个管道到Kinesis消防水管。如果我们指向

  • 帐户A是我创建Kinesis流的应用程序帐户,我想在帐户B中创建Firehose来读取帐户A的Kinesis流。这可能吗?我尝试按照(https://medium.com/upday-devs/configure-kcl-to-read-from-a-dariffent-aws-account-16000b26e7ff)的步骤,在帐户A中创建了一个外部访问角色(例如'ARN:aws:iam::11

  • 我是Lambda的新手,正在尝试模拟一个简单的函数来执行Kinesis Fireshose的PUT。 我试着浏览AWS文档,但找不到任何确切的参考来编写一个简单的python脚本,以从API获取并通过Firehose将JSON发送到S3。下面是我试图发布到Lambda的代码,但我想按计划将其发送到Firehose,而不是文件系统。