无法从EC2外部连接到AWS上运行的kafka connect群集

Question

我有一个ECS集群，其中有3个EC2实例，它们都位于私有子网中。我创建了一个任务定义，使用以下环境变量运行Confluent提供的kafka-connect映像：

    CONNECT_CONFIG_STORAGE_TOPIC=quickstart-config
    CONNECT_GROUP_ID=quickstart
    CONNECT_INTERNAL_KEY_CONVERTER=org.apache.kafka.connect.json.JsonConverter
    CONNECT_INTERNAL_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter
    CONNECT_KEY_CONVERTER=org.apache.kafka.connect.json.JsonConverter
    CONNECT_OFFSET_STORAGE_TOPIC=quickstart-offsets
    CONNECT_PLUGIN_PATH=/usr/share/java
    CONNECT_REST_ADVERTISED_HOST_NAME=localhost
    CONNECT_REST_ADVERTISED_PORT=8083
    CONNECT_SECURITY_PROTOCOL=SSL
    CONNECT_SSL_ENDPOINT_IDENTIFICATION_ALGORITHM=
    CONNECT_STATUS_STORAGE_TOPIC=quickstart-status
    CONNECT_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter

我在这个集群前面有一个应用程序负载均衡器，在端口8083上有一个侦听器。我已经正确地设置了目标组，以包括运行Kafka-Connect的EC2实例。因此负载均衡器应该将请求转发到集群。确实如此，但我总是得到502 Bad gateway响应。我可以ssh到EC2实例和curl localhost:8083并从kafka-connect返回响应，但是从EC2外部，我没有得到响应。

为了排除负载均衡器和集群之间的网络问题，我创建了一个单独的任务定义，在端口80上运行Nginx，我可以通过负载均衡器成功地从EC2实例外部访问它。

我有一种感觉，我没有将connect_rest_adveredsed_host_name设置为正确的值。根据我的理解，这是客户端应该连接到的主机。但是，由于我的EC2实例位于私有子网中，我不知道该将其设置为什么，这就是为什么我将其设置为localhost。我尝试将其设置为负载均衡器的DNS名称，但这不起作用。

Answer 1

您需要将connect_rest_adveredsed_host_name设置为其他Kafka Connect工作人员可以解析和连接到的主机或IP。

它用于工作人员之间的内部通信，如果是localhost，那么如果REST请求（通过负载均衡器）击中了不是集群当前领导者的工作人员，该工作人员将尝试将请求转发给领导者-使用connect_rest_adveredsed_host_name。但是，如果connect_rest_adveredsed_host_name是localhost，那么工作人员将只是将请求转发给自己，因此不会工作。

有关更多详细信息，请参见https://rmoff.net/2019/11/22/common-problem-make-when-configuring-multiple-kafka-connect-workers/