当前位置: 首页 > 软件库 > 程序开发 > 常用工具包 >

Amazon Kinesis Connector

亚马逊 Kinesis 连接器
授权协议 ASL
开发语言 Java
所属分类 程序开发、 常用工具包
软件类型 开源软件
地区 不详
投 递 者 姚嘉容
操作系统 跨平台
开源组织 Amazon
适用人群 未知
 软件概览

Amazon Kinesis Connector 可以帮助开发者将 Amazon Kinesis 和其他 AWS 、非 AWS 服务。目前库的版本提供 Amazon DynamoDBAmazon RedshiftAmazon S3 Elasticsearch 的连接器。这个库包括每种类型的样本连接器,再加上为运行样本的 Apache Ant 构建文件。

要求:

  • Amazon Kinesis客户端库:为了使用Amazon Kinesis连接器库,还需要Amazon Kinesis客户端库
  • Java 1.7:Amazon Kinesis Client Library需要Java 1.7(Java SE 7)或更高版本。
  • Elasticsearch 1.2.1:Elasticsearch连接器依赖于Elasticsearch 1.2.1
  • SQL驱动程序(仅适用于Amazon Redshift):如果使用的是Amazon Redshift连接器,则需要一个驱动程序,该驱动程序将允许SQL客户端连接到Amazon Redshift集群。有关更多信息,请参阅Amazon Redshift入门指南中的下载客户端工具和驱动程序
  • 创建表环境 //创建tableSetting val tableEnvironmentSettings = EnvironmentSettings .newInstance() .inStreamingMode() .build() //创建tableAPI的环境 val tableEnv = StreamTableEnvironment.create(env,tableEnviro

  • 内置source和sink 内置source包括从文件读取,从文件夹读取,从socket中读取、从集合或者迭代器中读取。内置的sink包括写文件、控制台输出、socket 内置connectors Apache Kafka (source/sink) Apache Cassandra (sink) Amazon Kinesis Streams (source/sink) Elasticsearch

  • 从目录学习 Introduction …1 What is Cloud Computing?..1 Six Advantages of Cloud Computing …2 Types of Cloud Computing … 3 Cloud Computing Models … 3 Cloud Computing Deployment Models …4 Global Infrastructur

 相关资料
  • 我在推记录的时候检查过了,如果我们有2个碎片,说Shard1 我有几个问题: 如果多个出版商说两个lambda正在用一个碎片推送到一个kinesis流,这会导致任何竞争条件吗?两个不同的源是否可能推送到单个碎片 建议每个制作人使用不同的碎片,还是多个制作人使用单个碎片

  • 我的问题是,如果出于某种原因,一些格式错误的数据被生产者放到碎片上,当Lambda函数提取它时,它会出错,然后不断地重试,会发生什么?这意味着该错误将阻止该特定碎片的处理24小时。 处理这样的应用程序错误的最佳实践是将问题包装在自定义错误中,并将此错误与所有成功处理的记录一起发送到下游,让使用者处理它吗?当然,如果出现无法恢复的错误,程序就像空指针一样崩溃,这仍然没有帮助:在接下来的24小时内,我

  • 我能够从EC2实例连接到VPC中的ElastiCache Redis实例。但我想知道是否有办法连接到Amazon EC2实例之外的ElastiCache Redis节点,例如从我的本地开发设置或其他供应商提供的VPS实例。 当前在我的本地设置中尝试时: 我只在一段时间后才会暂停。

  • 我正在评估AWS Kinesis vs托管服务Kafka(MSK)。我们的需求是从on-prem系统(使用C++进行系统开发)向AWS发送一些消息(JSON)。然后,我们需要将上面的消息持久化到关系数据库中,比如PostgreSQL中,同时我们需要将上面的数据流到AWS中托管的其他一些微服务(java)中。 我有以下查询: v)我们的消息速率是50msg/秒,什么是成本效益的解决方案?

  • 好的,我在 AWS 中创建一个实例,并遵循手册、视频等中的所有要点。但是我收到“无法连接到服务器,因为防火墙,关闭等” 我配置了以下内容: 实例: 私有IP OK 状态:正在运行 检查:一切正常 公共DNS:好的 公共ip:好的 弹性IP附加:好的 已连接网络接口(并且该网络具有安全组、ips等) 安全组(非默认): 入境的 类型协议端口范围源 RDP TCP 3389 0.0.0.0/0 固态混

  • 亚马逊云 图 1.20.2.1 - AWS AWS,即 Amazon Web Services,是亚马逊(Amazon)公司的 IaaS 和 PaaS 平台服务。AWS 提供了一整套基础设施和应用程序服务,使用户几乎能够在云中运行一切应用程序:从企业应用程序和大数据项目,到社交游戏和移动应用程序。AWS 面向用户提供包括弹性计算、存储、数据库、应用程序在内的一整套云计算服务,能够帮助企业降低 IT

  • 我使用的是Hazelcast v3。6在两台amazon AWS虚拟机上(不使用hazelcast的AWS特定设置)。连接应该通过TCP/IP连接设置(而不是多播)工作。我已在虚拟机上打开5701-5801地址进行连接 我曾尝试在两台虚拟机上使用iperf,通过这两台虚拟机,我可以看到一台虚拟机上的客户机连接到另一台虚拟机上的服务器(当我切换iperf的客户机-服务器设置时,反之亦然)。 当我在不

  • 我试图通过AWS SES发送一封带有SMTP的电子邮件,我正在使用这个