当将消息推送/消费到/从主题推送/消费消息时，如何衡量kafka的性能指标

Question

已使用生产者推送消息。它向主题推送了100000条消息。

使用命令：bin/kafka producer perf test。sh--代理列表localhost:9092--消息100000--主题perfAtlasTopic获取以下生产者指标。

开始时间，结束。时间、压缩、消息。大小，批次。大小，总计。数据发送。在里面MB，MB。秒，总计。数据发送。在里面nMsg，nMsg。第[2015-02-19 00:33:44133]节警告重新连接属性。间隔无效（kafka.utils.VerifiableProperties）2015-02-19 00:33:44:020、2015-02-19 00:33:46:822、0、100、200、9.54、3.4035、100000、35688.7937

使用命令：bin/kafka consumer perf test。sh—zookeeper本地主机：2181—消息100000—主题perfAtlasTopic—线程10。获取以下消费者指标：

start.timeend.timefetch.sizedata.consumed.in.MBdata.consumed.in.nMsg nMsg.sec2015-02-19 00:53:13:480, 2015-02-19 00:53:53:128, 1048576, 289.0332, 8.3420, 100000, 2886.1695

在生产者/消费者向主题推送/消费消息之前获取上述指标。

在将消息推送/消费到/从主题推送/消费消息时，是否有任何方法可以衡量性能指标？

谢谢

Answer 1

该数字显示了生成/使用您指定的消息数量的指标（例如，在您的情况下，100000条）。在您的情况下，它显示开始/结束时间、提取大小、消耗的MB数据（总计100000条消息）、MB/s、消耗的总消息数（当然是100000条）和生成/消耗100000条消息时消耗的#条消息/秒。如果要在流式传输数据时继续跟踪指标，请尝试以下操作：

for i in `seq 1 1000`; do kafka-producer-perf-test.sh --broker-list localhost:9092 --messages 100000 --topic perfAtlasTopic; done

这将运行测试1000次。您可以更改要运行的#次。