当前位置: 首页 > 知识库问答 >
问题:

Storm:eventhub spout停止接收消息

阎晔
2023-03-14

目前,我正在开发一个用于处理原始机器测量数据的storm拓扑。然而,我遇到了无法解释的问题与喷口。

我正在Azure HDInsight上运行一个简单的storm拓扑,用Java编写。事件是从eventhub中读取的,我使用microsoft eventhub spout(版本0.9)。这个eventhub有8个分区,这意味着我也需要EventhUbspout的8个实例。

但是,当我运行拓扑几个小时后,spout会一个接一个地停止接收消息,直到每个spout都安静下来。没有任何反馈。当我通过其他方式检查eventhub时,它仍在运行。暴风/喷流不再登记任何东西了。

其次,由于Azure错误或网络不可用,有时可能会出现eventhub短暂脱机的情况。这可能意味着eventhub暂时不会发送消息。当接收不到数据时,喷口会关闭,但再也无法唤醒?

对于上面提到的每一个原因,eventhub喷口难道不应该自动恢复吗?可以做些什么来调试/解决这个问题?

共有1个答案

曾珂
2023-03-14

我试图搜索一些可以确保自动从异常中恢复eventhub spout的代码,但似乎没有任何代码可以做到这一点。

但是,我认为这个问题可能是由https://issues.apache.org/jira/browse/Storm-329这样的Storm bug引起的。

要像这样调试问题,您可以尝试参考如何在Eclipse中调试Apache Storm?在HDInsight Storm的辅助JVM中启用调试,从而在Eclipse上远程调试。

 类似资料:
  • 我想这个话题发生了什么...偏移坏了还是我不知道... 有人知道会发生什么吗?谢谢

  • 我的示例接受google pub/sub,记录它并将ack发送回 配置: NotificationHandler: 线程转储: 行: 但ThreadExecutor未执行deliverMessageTask。 在我看来,它看起来像是库中的一个bug,但可能是库误用。无论如何,我正在寻找任何解决方案/变通办法来避免这种情况。 我使用: spring-boot springCloudVersion=

  • 我的应用程序在服务器上发生某种事件后接收推送通知。 除了在一小段时间内有许多事件一个接一个地发生的情况外,一切都很正常。 设备上的Firebase令牌也是正常的,因为应用程序从Firebase控制台接收通知。

  • 我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中,使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后,所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么?下面是使用消息的代码部分: 代理上的所有配置都保留为kafka默认

  • 我正在尝试用Java实现一个TFTP客户端。客户端在Localhost上运行良好,有时可以通过网络发送到TFTP服务器。然而,有时我的DatagramSocket会随机停止接收数据包。它将发送读/写请求,但永远不会收到服务器试图发送回的下一条消息。我已经检查了Wireshark,服务器确实在接收和尝试发送。防火墙在需要的地方被关闭。无法找出问题所在。以下是我正在使用的代码:

  • 我有一个很奇怪的问题快把我逼疯了。 我有一个Ruby服务器和一个Flash客户端(动作脚本3)。这是一个多人游戏。 问题是,一切都在完美地工作,然后,突然,一个随机的球员停止接收数据。当服务器因为不活动而关闭连接时,大约20-60秒后,客户端接收到所有缓冲的数据。 null 我不认为这是一个操作系统/网络问题,因为我已经从一个位于西班牙的VPS换到了位于爱尔兰的亚马逊EC2,问题仍然存在。 我觉得