《kafka》专题

我试图通过Kafka控制台制作人发送消息。但我无法键入超过4095个字符的消息。尝试搜索生产者或服务器中是否存在与此相关的任何属性，但无效。甚至试图搜索是否有任何操作系统特定的限制或标准输入字符限制，但没有找到任何东西。 请帮助通过控制台生产者发送大消息。

问题内容： 我想将afro中的主题从kafka索引为elasticsearch格式，但是我的时间戳字段有问题，elasticsearch会将其识别为日期格式字段。 我对连接器使用了以下配置。 原始字段是bigint类型，我希望目标字段是具有Elasticsearch的任何有效格式的日期类型。我定义了一个动态模板，尝试通过以下方式解决它： 当我加载上述连接器时，没有任何东西索引到Elasticsea

问题内容： 我建立了一个kafka docker容器并使用docker-compose对其进行编排。 打电话给我下面的putput： 我可以从docker容器内部运行生产者和使用者，但是不能在docker网络外部运行。 例如 ： 我在本地主机上运行kafka生产者，出现以下错误： 这是我在github上的kafka docker示例，其中包含上述问题。 那么，有人遇到同样的问题并且可以以任何方式帮

问题内容： 我在本地计算机上设置了一个单节点Kafka Docker容器，如Confluent文档中所述（步骤2-3）。 另外，我还公开了Zookeeper的端口2181和Kafka的端口9092，以便能够从在本地计算机上运行的客户端连接到它们： 问题： 当我尝试从主机连接到Kafka时，连接失败，因为它。 这是我的Java代码： 例外： 问题： 如何连接到在Docker中运行的Kafka？我的代

问题内容： 我正在尝试使用docker-compose启动kafka服务，并且应该可以在docker内部和外部进行访问。因此，应该在内部和外部设置合适的广告客户： 问题是，当我尝试从群集外部进行连接时，节点名称不是127.0.0.1，而是内部主机名： 这不是KAFKA_ADVERTISED_LISTENERS和KAFKA_LISTENERS处理这种情况的目的吗？我尝试设置KAFKA_ADVERTI

问题内容： 因此，我的目标是以分布式方式建立一个由多个kafka经纪人组成的集群。但是我看不出让经纪人彼此了解的方法。 据我了解，每个代理在其配置中都需要一个单独的ID，如果我从Kubernetes启动容器，我不能保证或配置该ID吗？ 他们还需要具有相同的advertised_host吗？ 是否有我需要更改的参数才能使节点相互发现？ 在Dockerfile的末尾使用脚本进行这样的配置是否可行？和/

问题内容： 我在端口5000上的docker容器中运行了一个REST服务，该服务用于通过kafka主题生成消息，而该主题用尽了docker容器。 我为生产者客户端配置了以下属性：- 我已经用下面的命令开始了包含： 我还做了以下配置来宣传kafka主机和端口 尽管我尝试制作kafka主题时已进行了所有配置，但还是遇到了以下错误：- 有人可以指出实际问题在哪里吗？ 问题答案： 在现实生活中，永远都不应

问题内容： 我正在尝试让JMX监视工作以监视测试kafka实例。 我有通过boot2docker在docker中运行的kafka（ches / kafka），但我无法正确配置JMX监视。我已经做了很多故障排除，而且我知道kafka实例运行正常（消费者和生产者都在工作）。当我尝试简单的JMX工具（jconsole和jvisualvm）并且都无法连接（不安全的连接错误，连接失败）时，就会出现问题。 注

问题内容： 题： 如何在Kafka Connect中正确注册SqlServer连接器以连接到独立的SQL Server实例？注意：我不在Docker中运行SQL Server。 错误： 错误：由以下原因引起：com.microsoft.sqlserver.jdbc.SQLServerException：到主机127.0.0.1的TCP / IP连接，端口1433失败。错误：“连接被拒绝（连接被拒绝

我正在尝试使用Java API运行zookeeper，以便能够使用多个分区启动一个主题。我相信这个答案会奏效。但是，当我尝试运行此代码时，会出现以下错误： 无法连接到动物园管理员服务器localhost:2181超时8000毫秒 在这台机器上，我没有运行zookeeper服务器。但我想在Java中启动一个实例（目前我可以使用ZooKeeperServerMain（）类来完成）。因此，也许我也需要这

我正在学习Kafka，并试图为我最近的搜索应用程序创建一个主题。被推送到Kafka主题的数据被认为是一个很高的数字。 我的kafka集群有3个代理，并且已经为其他要求创建了主题。 现在，我应该为最近的搜索主题选择多少个分区？如果我没有明确提供分区号呢？选择分区号时需要考虑哪些事项？

我需要向现有的Kafka主题添加分区。我知道可以使用bin/kafka主题。sh脚本来实现这一点，但我更愿意通过融合的RESTAPI来实现这一点。 据我所见，api引用中没有记录在案的endpoint，但我想知道这里是否有其他人能够做到这一点。 编辑：由于在这里似乎不可能使用REST api，我想知道在容器化设置中向现有主题添加分区的最佳实践是什么。例如，如果有将客户ID映射到特定分区的自定义分区

我理解了Kafka分区和Spark RDD分区之间的自动映射，并最终理解了Spark任务。然而，为了正确地调整我的执行器（核心数量）的大小，并最终确定节点和集群的大小，我需要理解文档中似乎掩盖了的一些内容。 null 例如，关于如何使用 --master local启动spark-streaming的建议。每个人都会说，在spark streaming的情况下，应该把local[2]最小化，因为其

null

ConsumerThread1-[topic1-0,topic2-0,topic3-0] ConsumerThread2-[topic1-1,topic2-1,topic3-1] 但是，我们希望每个主题有一个使用者线程，而不是每个分区有一个KafkaListener（或使用者线程）。例如： ConsumerThread1-[topic1-0,topic1-1] ConsumerThread2-[t