在Storm服务器上部署拓扑错误：NoNode for/brokers/topics/blockdata/partitions

Question

我正在尝试将storm/flux拓扑部署到远程服务器。拓扑已成功部署，但在服务器storm UI上，它显示“喷口滞后错误”：

无法获取Kafka的偏移滞后。理由：组织。阿帕奇。动物园管理员。KeeperException$NoNodeException:KeeperErrorCode=noode for/brokers/topics/blockdata/org上的分区。阿帕奇。动物园管理员。KeeperException。创造

尽管我已经使用以下方法登记了我的动物园管理员：

ls /brokers/topics/blockdata/partitions, it exists.

这是我的喷口配置：

  - id: "zkHosts"
    className: "org.apache.storm.kafka.ZkHosts"
    constructorArgs:
      - "172.25.33.191:2181"

  - id: "startingOffsetTime"
    className: "kafka.api.OffsetRequest"
    factory: "LatestTime"



  - id: "spoutConfig"
    className: "org.apache.storm.kafka.SpoutConfig"
    constructorArgs:
      - ref: "zkHosts"
      - "blockdata"
      - "/brokers/topics"
      - "myId"
    properties:
      - name: "ignoreZkOffsets"
        value: true
      - name: "scheme"
        ref: "stringMultiScheme"
      - name: "startOffsetTime"
        ref: "startingOffsetTime"

注意：此拓扑在本地模式下运行良好。

请参见下面的屏幕截图：

错误截图

Answer 1

您不能使用收集器。ack（元组）；在你的门闩里。它会导致喷口重复发送元组，并且不会在zookeeper中记录偏移量。

Answer 2

这是来自Storm用户界面的一部分，它应该向您显示喷口距离原木端偏移有多远。如果你感兴趣，代码在这里https://github.com/apache/storm/blob/v1.2.1/external/storm-kafka-monitor/src/main/java/org/apache/storm/kafka/monitor/KafkaOffsetLagUtil.java

请尝试让拓扑运行一段时间，然后尝试重新打开Storm UI，查看错误是否继续发生。在Kafka喷口设法写信给动物园管理员之前，你可能碰巧打开了Storm UI。