《kafka》专题

我正在尝试使用Kafka Connect REST API。 有时，我总是遇到＜code>POST＜/code>/＜code>PUT＜/code>/＜code>DELETE＜/code＞API的超时问题，例如部署新的连接器或删除连接器（＜code>GET＜/code＞没有超时问题）。 错误如下所示： 现在我的解决方案只是等待几个小时，希望它能再次工作。有时它会再次工作，有时不会。 我找到了一个潜在

我正在分布式模式下运行 Kafka 连接（在 3 节点群集上）。 VM1 中的一个连接器生成的日志是否与 VM2 和 VM3 相同？ 在3个虚拟机上运行的连接器是S3接收器连接器，它们运行在同一个端口8080上，属于同一个组。

我收到连接器接收器cassandra的分布式配置的任务错误。我正在运行命令： curl -s localhost：8083/connectors/cassandraSinkConnector2/status |JQ 为了获得地位 堆栈跟踪： 您可以在下面找到连接器的配置。 新错误：

我正在使用kubernetes中的JDBC接收器连接器构建Kafka-连接应用程序。我尝试了独立模式，它正在工作。我想转移到分布式模式。我可以通过运行下面的yaml文件成功构建两个pod（kafka连接器）： bin/connect-distributed.sh配置/worker.properties 并在每个 pod 内部创建了一个接收器连接器，任务.max=1，两个连接器侦听相同的主题。原来他

我有两个Kafka连接器节点，分别是Node-A和Node-B。 我在每个节点中运行一个分布式工作器（指向同一个Kafka集群）。 组id和客户机id在两个分布式工作线程中是唯一的。 连接器任务是在两个节点上使用 http POST 请求成功创建的。连接器任务为同一主题生成消息。 注意:我知道分配的工人应该有相同的组id来分配任务。但我是针对一个具体的案例，作为一个实验来做上面所说的。 我使用来自

我们有制作人将以下内容发送给Kafka： 主题=系统日志，每天 ~25，000 个事件 topic=nginx，每天 ~5，000 个事件 topic=zeek.xxx.log，每天~100，000个事件（总计）。在最后一种情况下，有 20 个不同的 zeek 主题，例如 zeek.conn.log 和 zeek.http.log 实例充当消费者，将数据从kafka发送到elasticsearch

我在kafka-连接中创建了两个kafka连接器，它们使用相同的连接器类，但它们听的主题不同。 当我在节点上启动进程时，两个连接器最终都会在此进程上创建任务。但是，我希望一个节点只处理一个连接器/主题。如何将主题/连接器限制为单个节点？我在connect-distributed.properties中没有看到任何配置，其中进程可以指定使用哪个连接器。 谢谢。

我尝试使用以下配置启动JDBC接收器连接器: 但当连接器处于运行状态时，没有任务正在运行： 我多次面对这个问题，但我很困惑，因为它是随机发生的。我的问题与这个问题非常相似。如果有任何帮助，我将不胜感激！ 更新。11/04/2019（不幸的是，现在我只有INFO级别日志） 最后，经过几次尝试，我通过更新现有连接器的配置crm_data-sink_db_hh启动了正在运行任务的连接器： 日志： 更新。

我似乎经常根据一个查询从JdbcConnectionSource创建一个Kafka Connect连接器，连接器创建成功，状态为“RUNNING ”,但是没有创建任何任务。在我的容器的控制台日志中，我看不到任何迹象表明有任何问题:没有错误，没有警告，没有对任务失败原因的解释。我可以让其他连接器工作，但有时一个不工作。 当连接器无法创建运行任务时，如何获取更多信息进行故障排除？ 我将在下面发布我的连

我在一组Docker容器中使用Confluent 3.2，其中一个容器运行kafka connect worker。 出于我尚不清楚的原因，我的四个连接器中的两个——具体来说，是hpgram sl的MongoDB接收器连接器——停止工作。我能够识别出主要问题：连接器没有分配任何任务，这可以通过调用来看出。另外两个连接器（相同类型）没有受到影响，并且正在愉快地产生输出。 我尝试了三种不同的方法通过

我一直在测试kafka连接。但是对于每个连接器，我都必须去阅读连接器留档以了解连接器所需的配置。就我阅读kafka连接API留档而言，我已经看到API以获取连接器相关数据。 -返回Kafka Connect集群中安装的连接器插件列表。请注意，API仅检查处理请求的工作人员上的连接器，这意味着您可能会看到不一致的结果，尤其是在滚动升级期间，如果您添加了新的连接器罐。 根据配置定义验证提供的配置值。此

正如我从留档和其他引用中看到的，连接器似乎将使用单个任务实例化，无论通过属性定义的值是多少（tasks.num） 分布式Mongodb Kafka源代码连接器，多任务不工作 Kafka Connect中连接器和任务之间的关系是什么 < li >此属性< code>tasks.num是否会产生任何影响，例如在故障转移等情况下..？比方说，如果< code>tasks.num配置为2，并且一个jdbc

我有4个Kafka和debezium一起运行。经过几天的良好运行后，三台kafka机器脱离网络一段时间，在< code > connect distributed . out 日志文件中，我收到了许多包含以下错误的消息: 我有4台Kafka机器，经纪人从0到3 动物园管理员： <代码>192.168.240.70 关注我的 - 除了之外，有相同的 指向安装 Kafka 的计算机的相同 IP，并且

我第一次创建到oracle的jdbc接收器连接器(汇合)。下面是连接器配置。它没有创建和加载表，但是偏移量随着日志的增加而增加，并且日志中没有抛出错误。请提出可能的问题。 通过java生成，5个样本记录。我尝试了 curl 来检查状态，它正在运行。 连接器日志： [2019-09-09 00:34:23832]INFO正在检查Oracle方言表“member_cbdt_sink1”是否存在（io.

我们正在尝试使用kubernetes在GCP上运行kafka connect worker，在Postgresql上配置一个源连接器，在BigQuery上同步一个宿连接器，并管理Confluent kafka。Kafka的偏移、配置和状态主题按照规范配置，分别具有25、1、5个分区、紧凑的清理策略和7天的保留期。 连接器通过REST API启动。源连接器看起来工作正常，但接收器连接器在一段时间后开