降低max.spout.pending值会导致Storm UI中的Kafka Spout消息失败？
我们试图在Storm拓扑中对性能进行基准测试。我们正在摄取大约1000/秒的消息到Kafka主题。当我们在KafkaSpout中max.spout.pendind=2000时，我们在Storm UI中不会看到任何失败的消息，但是当我们将max.spout.pendind值降低到500或100时，我们会在Storm UI中的spout中看到许多失败的消息。我的理解是，如果我们保持低max.spout.pending，那么我们就不会有任何失败的消息，因为没有什么会超时，但它的行为是相反的。我们使用的是来自HDP 2.6.5版本的Storm 1.1.0版本。
我们有一个Kafka喷口和两个螺栓。
KafkaSpout Parallelism - 1
Processing Bolt Parallelism - 1
Custom Kafka Writer Bolt Parallelism - 1
有人知道这件事吗？
共有3个答案
这很有趣。你说得对，按照我的步骤缩小范围，
- 在peek加载时上传拓扑可视化屏幕的屏幕截图。
- 检查将其颜色变为棕色/红色的螺栓。红色表示您的螺栓处理记录花费了太多时间。
- 您的spout/bolt执行程序每秒处理1K元组要少得多。
- 您使用的机器数量？
- 如果元组在KafkaSpout中失败，那么大多数时候这意味着超时错误。
- 找出处理后有多少事件元组失败。
请查找以下拓扑统计信息：
首先，您必须在storm UI上检查延迟的统计信息。您还应该了解螺栓/喷嘴的加载方式（容量统计）。元组的发射率与数据的下沉率相比真的很高吗，这是一个迹象，我得到当你提到，增加悬而未决的喷口是解决问题。你能提供这些数据吗。。另一个值得探讨的部分是增加元组上的任务超时（以查看这是否会导致重播和淹没拓扑）
-
版本： SpringBoot： 2.3.12。发布 SpringCloud：Hoxton。SR12 SpringCloud Starter Sleuth： 3.0.3 骆驼： 3.4.6 我想将Sleuth添加到一个预先存在的项目中，该项目现在使用ActiveMQ，以前它使用JMS。当我这样做时，ActiceMQ消息中的值会被阻止/删除（其中一个是“filename”，它是S2请求的键值）。其他J
-
我最近下载并安装了Jmet2.11。之后我尝试了该程序的记录功能，但这导致了一条错误消息：“无法创建脚本记录代理-有关详细信息，请参阅日志”。 我尝试过修改“环境变量”，但那没有帮助。 在应用程序的日志中显示了以下消息。 2014/08/19 10:23:02警告-jmeter。协议http。代理ProxyControl:无法打开/读取密钥存储C:\apache-jmeter-2.11\bin\p
-
我正在centos 6上运行java应用程序，使用G1GC运行openjdk版本“1.8.0_232”。我看到堆的总使用量逐渐增加，导致应用程序崩溃。当我对活动对象进行堆转储时，转储大小仅为1.6GB，但我使用的总堆容量为32GB。 用于获取dump:jmap-dump:live、format=b、file=/tmp/dump的命令。hprof 从某个地方读到，jmap dump命令会触发一个完整
-
正常的在均衡比如：增加消费者或者增加分区，没有宕机的事故，会不会导致消息丢失或者重复消费呢？ 我记得在均衡时会强制消费者提交偏移量，应该不会出现上述问题把？
-
考虑具有用户偏好系统的应用程序的以下用例： 我们想得到首选项MyFlag的布尔值 在最佳情况下，我们希望从当前用户的设置中获得它 如果失败，我们希望从默认设置中获取MyFlag<如果失败，抛出。 设置在服务器上。此连接很慢，可能会失败。 获取设置和获取首选项也可能失败。 所以让我们使用javas选项： 这里的问题是连接可能非常慢。当<代码>。orElse（slowlyGet…） slowlyGet
-
我有一个以编程方式定义的UISegmentedControl。 我正在尝试添加一个布局约束，以便在我的iPad旋转时，分段控件在旋转视图中的大小正确，而不是溢出屏幕。 我应用以下约束： 我的UIsegmentControl定义如下： 我没有出错，但是在运行时，我的分段控件消失了。不确定我在这里错过了什么，因为我过去只在故事板中做过自动布局。 我只想能够调整分段控件的宽度，所以我假设我只需要一个布局