设置多个工作人员时，Kafka喷口无法确认Storm中的消息
我有一个从Kafaka队列订阅事件的storm拓扑。在配置工作进程数时，拓扑工作正常。setNumWorkers设置为1。当我将worker的数量更新为一个或两个以上时，KafkaSpout在查看storm UI时无法确认消息。可能的原因是什么，我无法弄清楚，问题的精确性。
我有一个3节点的集群，运行一个nimbus和两个管理器。
共有1个答案
我的问题解决了。Kafka无法确认喷口消息的原因是与主机名冲突。我在两个worker的/etc/hostname和/etc/hosts文件中错误地使用了相同的主机名。当我检查worker时，我能够得到异常-无法与主机通信。所以我发现问题出在主机名上。我更新了etc/hosts映射和/etc/hostname文件中的主机名。消息开始被确认。非常感谢。
-
我只是在试用这里提到的kafka-storm喷口https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka，我使用的配置如下所述。 但是，上面的喷子从Kafka主题中获取消息的速度大约是每秒7000条，但我预计每秒大约有50000条消息。我尝试了在spoutConfig中增加提取缓冲区大小的各种选项，但没有看到任何结果。
-
这里可能发生了同样的事情：错误backtype.storm.util-Async循环死亡！BufferUnderFlowException：null，但我将添加一个完整的堆栈跟踪和一些更多的上下文。 Storm版本-9.3 Storm-Kafka版本-9.3 Kafka版本-0.8.2-beta 堆栈跟踪： Spout代码（注意，出于调试目的，我使用的是一个静态定义的分区映射，只有一个代理）：
-
我使用storm0.9.4和storm-kafka:0.9.0-wip16a-scala292作为从kafka0.7读取的依赖项。 我们的Kafka保留政策是7天。 我从经纪人的最新偏移量开始读取。
-
我想知道是否有任何Kafka喷口支持安全的Kafka经纪人。apache storm的KafkaSpout不支持SSL Kafka。 下面提到的Kafka不接受SSL Kafka生产者/消费者支持的任何参数。 请让我知道有没有任何方法，我们可以实现安全的Kafka消息流处理与Storm拓扑。
-
我用的是Kafka。请在下面找到测试程序。 我正在使用Storm 0.8.1。在Storm 0.8.2中存在多方案类。我会用那个。我只想知道早期版本是如何通过实例化String计划（）类来工作的？我在哪里可以下载早期版本的Kafka喷口？但是我怀疑这是一个正确的选择，而不是在Storm 0.8.2上工作。？？？（困惑） 当我在暴风集群上运行代码（如下所示）时（即当我推我的拓扑时），我得到以下错误（