以MSK主题作为事件源的AWS Lambda无法读取Kafka消息
我创建了一个AWS MSK集群，并通过在同一个VPC中运行EC2生产者/消费者实例来测试这个设置。我使用同一个VPC和子网创建了一个带有MSK集群主题的AWS lambda作为事件源。我的所有子网都是私有子网。
集群设置工作正常，我已经在EC2实例中验证了这一点。lambda总是被禁用，并出现错误“上次处理结果：问题：连接错误。请检查您的事件源连接配置”。
我在下面的AWS博客中读到，我们需要一个NAT网关运行在我们配置MSK集群的每个区域的公共子网中，以确保连接。这是我需要尝试做的事情吗？我仍然不明白运行在相同VPC和子网中的EC2实例如何能够访问MSK集群，而不是我的Lambda。有人能帮忙吗？
https://aws.amazon.com/blogs/compute/using-amazon-msk-as-an-event-source for-aws-lambda/
另一方面，我有多个Kafka主题，我需要从这些主题中消费数据并将它们下沉到ElasticSearch集群中。我可以选择在EC2中运行Kafka connect sink，我也可以创建一个AWS lambda，将MSK主题作为事件源。我知道我可以在AWS lambda中配置多个MSK主题。有人能建议哪种方法会好吗？
共有1个答案
您是否将Lambda函数部署在与MSK集群相同的子网/VPC中？
-
我有一个Kafka集群（版本：0.10.1.0），有9个代理和10个分区。 我尝试使用camel kafka从java应用程序中获取消息。这是我的pom。xml 这只是我使用的与骆驼Kafka相关的依赖项。下面是骆驼Kafka消费者代码。 我正在使用文档中指定的KafkaURIhttps://camel.apache.org/components/latest/kafka-component.ht
-
Debezium连接器的Kafka connect事件是Avro编码的。 在传递给Kafka connect standalone服务的connect-standalone.properties中提到了以下内容。 使用这些属性配置Kafka使用者代码: 在消费者实现中，下面是读取键和值组件的代码。我使用REST从模式注册表中获取键和值的模式。 解析密钥工作正常。在解析消息的值部分时，我得到了Arr
-
我们正在使用Kafka流将数据写入接收器主题。我正在运行一个avro消费者命令行来检查接收器主题中是否有数据： bin/kafka-avro控制台-消费者-主题sink.output.topic-从开始-新消费者-引导-服务器 当我在kafka streams应用程序运行时同时运行消费者时，我会看到数据，但如果我停止消费者并在几分钟后再次运行，我不会看到任何数据。几乎没有可能： 1） 这是因为Ka
-
因为我是新的Kafka，所以我能够从文件中读取记录，并通过生产者将消息发送到Kafka主题，但不能通过消费者消费相同的主题。 注意：您可以从任何文本文件中读取数据，我使用的是Kafka2.11-0.9。0.0版本 这是我的密码： 下面是输出：
-
下面的json数据示例 下面的错误消息 线程“main”org.apache.spark.sql.analysisException中出现异常：未能找到数据源：Kafka。请按照“结构化流+Kafka集成指南”的部署部分部署应用程序。；在org.apache.spark.sql.execution.datasources.datasource$.lookupdatasource(datasourc
-
在我们的docker-swarm中运行kafka connect，使用以下撰写文件： kafka connect节点成功启动，我可以设置任务并查看这些任务的状态······ 我是否在撰写文件或任务配置中缺少某些配置？