从Kafka的喷口中获取图式的Storm路由螺栓
来自Kafka喷泉的Storm--有条件消耗的溪流？
我如何获得这个bolt中数据中所有字段的模式，而不是基本上重新解析所有数据并重新创建它？
共有1个答案
您需要预先了解模式，即在处理第一个元组之前。在部署期间，在第一次调用execute()之前调用DeclareOutputFields()方法。
Storm无法处理变量架构。如果有结构未知的JSON数据，可以声明新字段（“JSON”）并将整个JSON对象放入一个字段中。
-
编辑：我向Bolt添加了一个。ack（）（这要求我使用一个丰富的Bolt而不是基本的Bolt）并且遇到了同样的问题--没有任何信息告诉我Bolt正在处理元组。 如果有关系的话，我会在EC2实例上的CentOS映像上运行这个。如有任何帮助，不胜感激。 查看生成的Storm worker日志，我看到这一行: 下面几行如下： 工作日志的其余部分没有显示螺栓处理的消息的日志/打印。我不明白为什么螺栓似乎没
-
这里可能发生了同样的事情：错误backtype.storm.util-Async循环死亡！BufferUnderFlowException：null，但我将添加一个完整的堆栈跟踪和一些更多的上下文。 Storm版本-9.3 Storm-Kafka版本-9.3 Kafka版本-0.8.2-beta 堆栈跟踪： Spout代码（注意，出于调试目的，我使用的是一个静态定义的分区映射，只有一个代理）：
-
因此，如果您使用基于JUnit的单元测试，是否建议您运行一个小型模拟拓扑(？）并测试该拓扑下的（或)的隐含契约？或者，是否可以使用JUnit，但这意味着我们必须仔细模拟Bolt的生命周期（创建它、调用、嘲弄等）？在这种情况下，被测类（螺栓/喷口）有哪些一般的测试点需要考虑？ 其他开发人员在创建正确的单元测试方面做了什么？ 我注意到有一个拓扑测试API（参见：https://github.com/x
-
我想知道是否有任何Kafka喷口支持安全的Kafka经纪人。apache storm的KafkaSpout不支持SSL Kafka。 下面提到的Kafka不接受SSL Kafka生产者/消费者支持的任何参数。 请让我知道有没有任何方法，我们可以实现安全的Kafka消息流处理与Storm拓扑。
-
我使用storm0.9.4和storm-kafka:0.9.0-wip16a-scala292作为从kafka0.7读取的依赖项。 我们的Kafka保留政策是7天。 我从经纪人的最新偏移量开始读取。
-
我对Apache Storm有一个奇怪的问题。我有一个Kafka连接到Kafka集群，里面有10条消息。 螺栓接收每条消息并正确处理，因为在Storm UI中，螺栓被列为“已确认”。然而，storm UI下面列出的喷口表示所有元组都失败了。 我相信这会导致喷口再次发出所有的信息。。。因此，我看到一个Storm螺栓打印出消息1-10，然后以相同的顺序一次又一次地打印出来。 我适当地调用了和方法，我只