当前位置: 首页 > 知识库问答 >
问题:

AWS DynamoDB流到Redshift

娄飞鸾
2023-03-14

我们希望将html" target="_blank">数据从DynamoDB非关系型数据库作为流连续移动到红移数据库。我很难理解AWS中的所有新术语/技术。有

1) DynamoDB流

2)AWS Lambda

3) AWS Kinesis消防水带

有人能提供每一个的简要总结吗。什么是DynamoDB流?这与亚马逊运动有何不同?在阅读了所有的资源后,这是我对假设的理解,请在下面进行验证。

(a)我假设DynamoDB Streams,创建非关系型数据库的流数据,开始发送出去,它是Sender。

(b) Lambda只允许人们花费时间,它是处理DynamoDB流的租用时间服务器。

(c)Kinesis FireHose将DynamoDB流转换为Redshift。

(d)Amazon QuickSight是他们的商业智能工具,

这是对词汇表术语的正确理解吗?查看堆栈链接,需要更全面的信息。

共有1个答案

鲁阳焱
2023-03-14

Amazon Kinesis可以实时收集、处理和分析视频和数据流。

  • 使用Kinesis视频流来捕获、处理和存储用于分析和机器学习的视频流
  • 使用Kinesis数据流构建自定义应用程序,使用流行的流处理框架分析数据流
  • 使用Kinesis数据消防软管将数据流加载到AWS数据存储中
  • 使用Kinesis数据分析使用SQL分析数据流

DynamoDB流与Kinesis数据流一样有效,但它是由DynamoDB中新的/更改的数据自动生成的。这允许在向DynamoDB表添加新数据或更改数据时通知应用程序。

Kinesis数据消防软管可以自动将流输出到红移(以及其他目的地)。

AWS Lambda可以在不配置或管理服务器的情况下运行代码。您只需为所消耗的计算时间付费——当您的代码未运行时,不收取任何费用。您可以为几乎任何类型的应用程序或后端服务运行代码-所有这些都不需要任何管理。

Lambda用于检查通过流的数据。例如,它可以用于操作数据格式或跳过不需要的数据。

总而言之,您可以在DynamoDB中添加/修改数据。这将导致发送包含更改信息的DynamoDB流。AWS Lambda函数可以检查数据并操作/删除消息。然后,If可以将数据转发到Kinesis data Firehose,以自动将数据插入Amazon Redshift。

举个例子:

  • 银行交易存储在DynamoDB中

一起使用这些系统的好处是,它们可以用最少的编码提供丰富的应用程序功能。在这个例子中,只有Lambda函数需要编码——其余的通过链接各种组件来工作。此外,它是完全无服务器的——也就是说,不需要在Amazon EC2实例上运行应用程序。

 类似资料:
  • 我的流服务执行的操作很少: 在进行测试时,我发现我的服务在调用函数后中断了,该函数将把我的数据写入由Kafka Streams将KTable转换为Kafka Streams创建的新主题。 我检查了KStreams创建的主题,主题就在那里: 我发现有三个输入,即,我不知道第三个输入是什么: 为了确保所有内容都被覆盖,这里是我的配置: 我的问题是,我们的部署正在工作,突然所有的东西都开始出现这个错误:

  • 我在弄清楚如何使用gstreamer创建一个简单的rtp流并在vlc上显示它时遇到了一些困难。 我已经安装了GStreamer 0.10.30和VLC 1.1.3。我唯一的要求是使用MPEG4或H.264编解码器。 现在,我可以通过以下简单的管道传输GStreamer videotestsrc: 它输出客户端接收流所需的“上限”: 我还可以使用以下管道显示流: 但当我尝试用vlc接收流时: 我一无

  • 我目前正在使用DynamoDB流,并期待着转向Kinesis流,因为我想控制我喜欢从流中处理的记录数量。 我一直在读有关Kinesis流和lambda的文章。有很多关于Kinesis流和EC2的多用户和KCL等的文章。 null

  • 我有这个输入流: 如何将其转换为ServletInputStream? 我试过: 但不工作。 编辑: 我的方法是这样的: 我正在尝试将我的所有请求转换为小写。

  • 使用阻塞运算符,我可以这样做:

  • 感谢大家提前:) 我想在你开始阅读之前说清楚,我想开发一个基于Android的应用程序,使用Android设备作为广播公司,它使用麦克风记录声音,并将其发送到shoutcast服务器,类似于这样: 连接互联网的Android设备- 所以请不要在android上玩shoutcast流混淆,因为我不想开发一个播放器来玩流。如果你正在寻找开发一个播放器,然后从给定的链接下载源代码,它对我来说很好。点击下