当前位置: 首页 > 知识库问答 >
问题:

AWS Kinesis流详细回顾

秦焱
2023-03-14

我是AWS的新手。我已经使用Java在aws中实现了一些功能。我的要求是一次向RDS PostgreSQL实例插入50MB的csv。

我尝试了aws lmabda服务。但是5分钟后,lambda会停止,所以我就这样放弃了。(lambda函数的限制)

第二步,我编写了s3事件的java lambda代码,它将使用putrecord命令将s3上的csv文件读到kinesis流中。根据我的理解,kinesis能够逐条读取csv文件。这个kinesis流将调用第二个lambda函数,该函数将数据保存到PostgreSQL。

对于我的需求,这是正确的配置吗?如果我给batchsize为1,我的函数会插入完整的记录吗?请让我知道你对此的知识。这将是一个很大的帮助,从你提前感谢!!!!

共有1个答案

龚弘业
2023-03-14

你已经超过了你的极限,一个碎片。

查看以下文档:Amazon Kinesis数据流限制

确保您的代码在每个AWS调用上检查错误。

 类似资料:
  • 本文向大家介绍java的IO流详细解读,包括了java的IO流详细解读的使用技巧和注意事项,需要的朋友参考一下 流,就是一系列的数据。 当不同介质之间有数据交互的时候,JAVA就使用流来实现。数据源可以是文件,还可以是数据库、网络甚至其他的程序。 比如读取文件的数据到程序中,站在程序的角度来看,就叫做输入流。 字节流(以字节的形式读取和写入数据) InputStream字节输入流同时也是抽象类,只

  • Standard Traceback Dumps # cgitb_basic_traceback.py def func2(a, divisor): return a / divisor def func1(a, b): c = b - 5 return func2(a, c) func1(1, 5) Enabling Detailed Tracebacks # c

  • 本文向大家介绍webpack构建的详细流程探底,包括了webpack构建的详细流程探底的使用技巧和注意事项,需要的朋友参考一下 作为模块加载和打包神器,只需配置几个文件,加载各种 loader 就可以享受无痛流程化开发。但对于 webpack 这样一个复杂度较高的插件集合,它的整体流程及思想对我们来说还是很透明的。 本文旨在搞清楚从命令行下敲下 webpack 命令,或者配置 npm script

  • 本文向大家介绍Java 编程之IO流资料详细整理,包括了Java 编程之IO流资料详细整理的使用技巧和注意事项,需要的朋友参考一下 java IO详解: Java流操作有关的类或接口: Java流类图结构:  流的概念和作用 流是一组有顺序的,有起点和终点的字节集合,是对数据传输的总称或抽象。即数据在两设备间的传输称为流,流的本质是数据传输,根据数据传输特性将流抽象为各种类,方便更直观的进行数据操

  • 这个部分是新的和展开的,这里的概念是更深的层面探索特定的用法在,同时提供了一个对基本特性的自顶向下的解释 Amazon Web Services Guide Rackspace 云指南 Google Cloud Platform Guide 使用Vagrant和Ansible 持续交付与滚动升级 即将包含的,目前未定的主题包括: Docerk,Jenkins , Google Compute En

  • 本文向大家介绍OpenStack 工作流workflows使用原理详细介绍,包括了OpenStack 工作流workflows使用原理详细介绍的使用技巧和注意事项,需要的朋友参考一下 Workflows 工作流是复杂的forms(表单)和tabs,每一个workflow必须包含 Workflow,Step 和 Action 下面举例讲解workflow用法: 接下来的例子讲解了数据是如何从urls