我正在使用OpaqueTridentKafkaSpout来消费来自Kafka的消息。下面是代码。我忽略了max spout pending
配置,因为这会导致同一kafka消息在多个批处理中到达。
TridentKafkaConfig tridentKafkaConfig = new TridentKafkaConfig(hosts,properties.getProperty("topic", "mytopic"));
tridentKafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
OpaqueTridentKafkaSpout kafkaSpout = new OpaqueTridentKafkaSpout(tridentKafkaConfig);
当Kafka喷口开始时,我得到以下错误一次,但之后运行平稳。
您的堆栈跟踪指示您正在访问https://issues.apache.org/jira/browse/storm-3046。
我正在使用Kafka生产者发布消息到一些其他Kafka的主题,它的工作相当好。下面的示例模板: 上述语句是否支持kafka消息驱动入站通道适配器中所支持的errorchannel? 每当我传出的kafka服务器宕机,我无法发布它时,我需要它来审计错误计数。
使用Kafka作为微服务体系结构中的消息传递系统,我想知道哪一个是首选,是Spring Kafka,还是Spring Integration Kafka,为什么?还有,我们根据什么因素来决定选择哪一个?
这里可能发生了同样的事情:错误backtype.storm.util-Async循环死亡!BufferUnderFlowException:null,但我将添加一个完整的堆栈跟踪和一些更多的上下文。 Storm版本-9.3 Storm-Kafka版本-9.3 Kafka版本-0.8.2-beta 堆栈跟踪: Spout代码(注意,出于调试目的,我使用的是一个静态定义的分区映射,只有一个代理):
Redis可以像Kafka一样被用作实时酒吧。 我很困惑什么时候该用哪一个。 任何用例都将是一个很大的帮助。
我用的是Kafka。请在下面找到测试程序。 我正在使用Storm 0.8.1。在Storm 0.8.2中存在多方案类。我会用那个。我只想知道早期版本是如何通过实例化String计划()类来工作的?我在哪里可以下载早期版本的Kafka喷口?但是我怀疑这是一个正确的选择,而不是在Storm 0.8.2上工作。???(困惑) 当我在暴风集群上运行代码(如下所示)时(即当我推我的拓扑时),我得到以下错误(
我使用storm0.9.4和storm-kafka:0.9.0-wip16a-scala292作为从kafka0.7读取的依赖项。 我们的Kafka保留政策是7天。 我从经纪人的最新偏移量开始读取。