Python测试Kafka集群(pykafka)实例
生产者代码：
# -* coding:utf8 *-
from pykafka import KafkaClient
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)
print client.topics
# 生产者
topicdocu = client.topics['my-topic']
producer = topicdocu.get_producer()
for i in range(100):
print i
producer.produce('test message ' + str(i ** 2))
producer.stop()
消费者代码：
# -* coding:utf8 *-
from pykafka import KafkaClient
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)
print client.topics
# 消费者
topic = client.topics['my-topic']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1,
consumer_id='test')
for message in consumer:
if message is not None:
print message.offset, message.value
以上这篇Python测试Kafka集群(pykafka)实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
我对集成测试有些陌生。我有两个使用Kafka互相传递消息的服务。然而，对于我的集成测试，我不一定希望为了运行我的测试而运行Kafka。有没有模仿Kafka的标准方法？或者这是我需要自己创建的东西，一些MockKafka队列和补丁在应用程序中适当的地方？此外，这是否违反了集成测试应该做的事情？我对此的看法是，我没有测试Kafka的任何功能，为了集成，测试应该被嘲笑。
-
本文档介绍如何构建测试场景对 DM 集群进行性能测试，包括数据迁移速度、延迟等。 迁移数据流 可以使用简单的迁移数据流来测试 DM 集群的数据迁移性能，即单个 MySQL 实例到 TiDB 的数据迁移：MySQL -> DM -> TiDB。 部署测试环境 使用 TiUP 部署 TiDB 测试集群，所有配置使用 TiUP 提供的默认配置。 部署 MySQL 服务，开启 ROW 模式 binlog，
-
我已经在集群中配置了3个kafka，我正在尝试与sping-kafka一起使用。 但是在我杀死kafka领导者后，我无法发送其他消息到队列。 我将Spring.kafka.bootstrap-servers属性设置为：“kafka-1：9092;kafka-2：9093，kafka-3：9094”以及我的主机文件中的所有名称。 Kafka0.10版 有人知道如何正确配置？ 编辑 我测试过一个东西，
-
我想建立一个多kafka集群，大约有3个zookeeper实例，每个集群中有3个kafka代理，每个kafka经纪人大约有5个主题和5个分区。有什么设置指南可以参考吗？ PS:我可以找到带有多个Kafka代理的单个zookeeper实例的信息，但不能找到带有多个zookeeper实例的设置。
-
准备 测试环境 在以下几种环境下进行测试： Kubernetes集群node节点上通过Cluster IP方式访问 Kubernetes集群内部通过service访问 Kubernetes集群外部通过traefik ingress暴露的地址访问 测试地址 Cluster IP: 10.254.149.31 Service Port：8000 Ingress Host：traefik.sample-
-
本文向大家介绍Python脚本实现集群检测和管理功能，包括了Python脚本实现集群检测和管理功能的使用技巧和注意事项，需要的朋友参考一下 场景是这样的：一个生产机房，会有很多的测试机器和生产机器（也就是30台左右吧），由于管理较为混乱导致了哪台机器有人用、哪台机器没人用都不清楚，从而产生了一个想法--利用一台机器来管理所有的机器，记录设备责任人、设备使用状态等等信息....那么，为什么选择pyt