如何使用MSK连接将数据从AWS MSK（kafka）流式传输到雪花
我正在尝试为snowflake设置MSK连接器，我几乎看不到任何有关如何设置的文档。不幸的是，AWS支持人员也建议我使用Snowflak文档页面。
通过遵循这个，我可以创建一个 EC2 实例和衍生连接器，但我想进入无服务器模式并使用 MSK 连接器
我很难使用雪花的连接器属性，并且 aws 没有提供有关它的太多信息
共有1个答案
正如插件页面上回答的那样，您需要将雪花ZIP/JAR插件上传到S3，在连接器启动之前它们会被下载到那里
https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-plugins.html
-
我第一次尝试Kafka，并使用AWS MSK设置Kafka群集。目标是将数据从MySQL服务器流式传输到Postgresql。我使用debezium MySQL连接器作为源，使用Confluent JDBC连接器作为接收器。 MySQL配置： 注册Mysql连接器后，其状态为“正在运行”，并捕获MySQL表中所做的更改，并以以下格式在消费者控制台中显示结果： 我的第一个问题：在表中“金额”列是“十
-
我必须把我的CDC从Aurora mysql db更改为MSK kafka主题。我认为在aws中没有像DMS这样的内置机制，它会将所有CDC从Aurora转移到MSK主题，在他们的文档中，他们没有提到对此的任何支持。 所以我只剩下使用开源的东西了。为了使用它，我有几个问题，请帮助我。 > 我正在进行一些搜索，到处都可以看到kafka-connect-jdbc。那么首先这是这个开源免费许可证吗？ 我
-
我可以从本地运行它吗？我的意思是从本地应用程序实例连接到AWS MSK msk簇
-
问题内容： 我正在尝试使用流使用Hapi将数据发送到浏览器，但无法确定我们的方式。具体来说，我正在使用请求模块。根据文档，该对象接受流，所以我尝试了： 引发错误。在文档中说流对象必须与stream2兼容，所以我尝试了： 现在，这不会引发服务器端错误，但是在浏览器中，请求永远不会加载（使用chrome）。 然后我尝试了这个： 并且在控制台 中 输出了数据，所以我知道流不是问题，而是Hapi。我如何在
-
问题内容： 我想使用elasticsearch-river-mysql以便将数据从MySQL数据库连续传输到ElasticSearch。我是ES和Rivers的初学者，所以希望您能为我的问题提供帮助。 据我所知，数据将从MySQL数据库流式传输到ES集群，后者将自动对其进行索引。那是对的吗？我需要了解任何超时或限制吗？ 关系数据库表之间的外键关系将如何转换为ES？包含外键的表行是否将成为ES文档的
-
我将kafka-connect docker映像()部署到ECS/fargate，为我的ECS服务分配了一个安全组，该安全组允许传入的zooper keeper和kafka bootstrap服务器通信量（纯文本和TLS)，并分配了一个IAM角色，该角色允许我的ECS任务对MSK集群运行kafka操作，但connect集群在尝试从MSK集群获取代理列表时仍会超时。 在AWS中，kafka conn
-
我正在尝试使用apache flume将数据加载到hbase中。当我使用flume将数据传输到hadoop时，它工作得很好。但是当我启动flume代理将数据加载到hbase时，我得到了NoClassDefFoundError。 这是我的水槽配置: flume-env.sh 代理4.conf
-
我正试图找出如何创建一个工作Kafka生产者对一个AWS MSK集群。集群启用了TLS和SASL/scram。这是我第一次使用Kafka，关于这方面的文档相当少。我目前拥有的针对未加密本地群集的代码是： 我有字符串类型变量和，它们是从AWS秘密管理器中提取的，包含集群的用户名和密码。我还需要指定哪些其他属性？ AWS和Kafka网站上的文档都是关于在本地文件系统上生成JAAS和truststore