NoBroker可用：NoBroker可用-Kafka错误

Question

我已经开始学习Kafka了。在上面尝试基本的操作。我坚持了一个关于“经纪人”的观点。

我的kafka正在运行，但当我想创建分区时。

 from kafka import TopicPartition
(ERROR THERE) consumer = KafkaConsumer(bootstrap_servers='localhost:1234')
 consumer.assign([TopicPartition('foobar', 2)])
 msg = next(consumer)

traceback（最近一次调用）：文件“”，第1行，在文件“/usr/local/lib/python2.7/dist-packages/kafka/consumer/group.py”，第284行，在init self中_client=KafkaClient（metrics=self._metrics，**self.config）文件“/usr/local/lib/python2.7/dist-packages/kafka/client_async.py”，第202行，在init self中。config['api_version']=自身。check_version（timeout=check_timeout）文件“/usr/local/lib/python2.7/dist packages/kafka/client_async.py”，第791行，check_versionraiseErrors。NoBrokersAvailable（）kafka.errors。无经纪人可用：无经纪人可用

Answer 1

对我来说，问题在于我在谷歌云上运行Kafka时的防火墙规则。

它昨天对我有效，今天我挠头一个小时思考为什么它不再有效了。

由于每次连接到不同的LAN或WiFi时，我的本地系统的公共IP地址都会发生变化，因此我必须在防火墙规则中允许本地系统的公用IP。我建议使用具有固定公共IP的连接，或在切换/更改连接时检查此连接。

配置中的这些小更改需要太多时间来调试和修复它们。感觉浪费了一个小时。

Answer 2

您不能在消费者中创建分区。创建主题时会创建分区。例如，使用命令行工具：

bin/kafka-topics.sh \
  --zookeeper localhost:2181 \
  --create --topic myNewTopic \
  --partitions 10 \
  --replication-factor 3

这将创建一个具有10个分区（编号从0到9）和复制因子3的新主题“myNewTopic”。（参见http://docs.confluent.io/3.0.0/kafka/post-deployment.html#admin-operations和https://kafka.apache.org/documentation.html#quickstart_createtopic）

在你的消费者中，如果你调用 assign（），这意味着你想要使用相应的分区，并且这个分区必须已经存在。

Answer 3

我在kafka流媒体时也犯了同样的错误。下面的代码解决了我的错误：我们需要在KafkaProducer中定义API版本。

KafkaProducer(bootstrap_servers=['localhost:9092'],
              api_version=(0,11,5),
              value_serializer=lambda x: dumps(x).encode('utf-8'))