启用SSL的Storm Kafka喷口

Question

我想知道是否有任何Kafka喷口支持安全的Kafka经纪人。apache storm的KafkaSpout不支持SSL Kafka。

public KafkaSpout(SpoutConfig spoutConf) {
    _spoutConfig = spoutConf;
}

下面提到的Kafka不接受SSL Kafka生产者/消费者支持的任何参数。

public KafkaConfig(BrokerHosts hosts, String topic) {
        this(hosts, topic, kafka.api.OffsetRequest.DefaultClientId());
    }

    public KafkaConfig(BrokerHosts hosts, String topic, String clientId) {
        this.hosts = hosts;
        this.topic = topic;
        this.clientId = clientId;
    }

请让我知道有没有任何方法，我们可以实现安全的Kafka消息流处理与Storm拓扑。

Answer 1

Storm的老式kafka-spout使用简单的使用者API，但安全性不受支持。如果您希望在kafka consumer中使用SSL，您应该使用https://github.com/apache/storm/tree/master/external/storm-kafka-client这里是详细信息https://github.com/apache/storm/blob/master/docs/storm-kafka-client.md

要使SSL与常规kafka-consumer类似，您可以按照http://kafka.apache.org/documentation.html#security_ssl中的详细信息进行操作