Kafka连接水槽“直通”连接器
kafka jdbc接收器连接器是否支持将其使用的内容写入不同的主题。我正在寻找一种传递机制，如下图所示。如果没有，我可以链接一个接收器和源（从接收器写的地方读取），但我认为这不会有那么好的性能。也许我可以修改现有的接收器连接器来实现这一点？
Topic 1 -> Sink Connector -> Topic 2
|
V
DB
共有2个答案
我建议编写一个简单的Kafka Streams应用程序，将从主题1到主题2的所有内容转发。并按原样使用连接器将主题1的内容沉入数据库。
Connect框架允许写入死信队列主题以获取导致错误的记录，但Connect中没有类似tee的功能。
如果您想要从接收器编写的内容中读取源，那么您将有两个连接器。
例如，
JDBC_Sink -> DB -> Debezium -> Topic
-
我尝试使用以下配置启动JDBC接收器连接器: 但当连接器处于运行状态时，没有任务正在运行： 我多次面对这个问题，但我很困惑，因为它是随机发生的。我的问题与这个问题非常相似。如果有任何帮助，我将不胜感激！ 更新。11/04/2019（不幸的是，现在我只有INFO级别日志） 最后，经过几次尝试，我通过更新现有连接器的配置crm_data-sink_db_hh启动了正在运行任务的连接器： 日志： 更新。
-
这个问题似乎不是关于特定的编程问题、软件算法或主要由程序员使用的软件工具。如果您认为这个问题在另一个Stack Exchange网站上是主题，您可以留下评论来解释这个问题在哪里可以得到回答。 我们构建了一个定制的Kafka Connect sink，它反过来调用一个远程REST API。我如何将背压传播到Kafka Connect基础设施，以便在远程系统比内部使用者向put()传递消息慢的情况下，
-
我有一个kafka connect插件，部署在kafka集群中（在独立模式下，仅用于测试，目的是分布式完成）。这个Kafka连接插件使用curator连接到集群的zookeper，并从中提取一些信息，以决定如何处理这些消息。 代码如下： 在treeCache启动时超时，配置根路径存在于本地zookeeper中（已确认在zookeeper外壳中执行ls，对于我尝试使用的zkConnection字符串
-
因此，我想知道做这件事的步骤。 我的理想是由kafka Connect创建与表相对应的主题，然后再由我声明（使用KSQL）创建视图。 虽然我在这里描述的一开始听起来是可行的，但我对数据有一个问题主题中数据的结构（模式）。问题似乎是，我可能必须做一个额外的步骤，但不知道它是否可以避免或实际上是必要的。
-
下面是/etc/kafka/connect-MongoDB-source.properties中的MongoDB配置 但是低于误差 以独立模式运行连接器。 我在debezium-debezium-连接器-mongob-1.0.0/debezium-connector-mongodb-1.0.0.Final.jar 类路径的设置如下 使用插件路径，我看到它能够注册和加载所有必需的插件。 但最后还是同
-
AWS Direct Connect允许从我们的网络到AWS位置创建专用网络连接。 它使用802.1q VLAN，可以将其划分为多个虚拟接口，以使用相同的连接访问公共资源。 这导致网络成本降低和带宽增加。 可以根据需要随时重新配置虚拟接口。 使用AWS Direct Connect的要求 我们的网络必须满足以下条件之一才能使用AWS Direct Connect - 我们的网络应位于AWS Dir