5.3.2.3-Storm-性能测试
优质
小牛编辑
131浏览
2023-12-01
测试使用 Storm-Kafka 流计算框架各流程中处理的延时和吞吐。
测试步骤
(1)在各步骤中的数据中添加 LONG[],数组长度为处理环节数。 (2)在开始任务前,记录当前系统时间 t1。 (2)在写入数据前,记录当前系统时间。 (3)在最后一个Bolt 中,将数据写入 MongoDB。 (4)从 MongoDB 查询时间属性,统计各环节的平均处理时间。 (5) 没隔 10000万条数据,使用当前时间减 t1,吞吐量=数据量*1000/时间差。
测试计划
使用继承的方法为发送的数据类添加时间属性。
统计每个阶段的处理总时间(每个数据单阶段处理时间)和数据量。
平均处理时间=总时间时间/数据量。
数据类 | 处理过程 |
---|---|
HKQTSInfo | Kafka Write |
HKQTSInfo | ParseBolt |
HKQTSInfoExtend | MatchTargetBolt |
HKQTSInfoExtend | RegionJudgeBolt |
指标监控
- 监控工具安装。
- 使用 SCP 和 CP 命令查看网络磁盘峰值。 网络监控命令:nload(待安装)。 磁盘监控工具:iostat。 内存&CPU:top。