5.3.2.3-Storm-性能测试

优质
小牛编辑
131浏览
2023-12-01

测试使用 Storm-Kafka 流计算框架各流程中处理的延时和吞吐。

测试步骤

(1)在各步骤中的数据中添加 LONG[],数组长度为处理环节数。 (2)在开始任务前,记录当前系统时间 t1。 (2)在写入数据前,记录当前系统时间。 (3)在最后一个Bolt 中,将数据写入 MongoDB。 (4)从 MongoDB 查询时间属性,统计各环节的平均处理时间。 (5) 没隔 10000万条数据,使用当前时间减 t1,吞吐量=数据量*1000/时间差。

测试计划

使用继承的方法为发送的数据类添加时间属性。

统计每个阶段的处理总时间(每个数据单阶段处理时间)和数据量。

平均处理时间=总时间时间/数据量。

数据类处理过程
HKQTSInfoKafka Write
HKQTSInfoParseBolt
HKQTSInfoExtendMatchTargetBolt
HKQTSInfoExtendRegionJudgeBolt

指标监控

  • 监控工具安装。
  • 使用 SCP 和 CP 命令查看网络磁盘峰值。 网络监控命令:nload(待安装)。 磁盘监控工具:iostat。 内存&CPU:top。