Kafka connect-分布式模式容错不起作用
我用3台EC2机器创建了kafka connect集群，并在每台机器上启动了3个连接器(debezium-postgres source ),从postgres source中读取一组不同的表。在其中一台机器上，我还启动了s3 sink连接器。因此，来自postgres的已更改数据正通过源连接器(3)移动到kafka broker，S3接收器连接器使用这些消息并将它们推送到S3桶。< br >群集工作正常，连接器也是如此。当我暂停一台EC2机器上运行的任何连接器时，我希望它的任务应该由另一台机器上运行的另一个连接器(postgres-debezium)来完成。但这不会发生。我还安装了kafdrop来监控代理。我看到3个内部主题connect-offsets、connect-status和connect-configs正在填充必要的偏移量、配置和状态(当我暂停时，出现status paus消息)。但是不知何故，当我暂停的时候，连接器不接受这个任务。让我知道在什么情况下连接器会接管另一个失败连接器的任务？暂停是正确的方式吗？或者我们应该在一个连接器上产生一些错误。请指导。
共有1个答案
听起来它像预期的那样工作。
暂停与容错设置无关，它会完全停止任务。在取消暂停之前，没有任何东西需要重新平衡。
死信队列、跳过日志或暂停的容错设置适用于连接器中存在无法通过API控制的实际运行时异常时。例如，数据库或S3网络/身份验证异常，或Kafka客户端中的序列化错误
-
我尝试使用hadoop作为分布式模式，并且我进行了设置，但是发生了一个错误。我将在下面描述安装过程： 0/etc/hosts 已安装的软件包 获取hadoop 0/etc/hadoop/core-site.xml 0/etc/hadoop/hdfs-site.xml 0/etc/hadoop/mapred-site.xml 主服务器是 节点服务器是 然后我尝试使用这个命令 结果如下： 0node1
-
在分布式 Web 容器中，HttpSession 实例被限到特定的 JVM 服务会话请求，且 ServletContext 对象被限定到 Web 容器所在的 JVM。分布式容器不需要传播 Servlet 上下文事件或 HttpSession 事件到其他 JVM。监听器类实例被限定到每个 JVM 的每个部署描述符声明一个。
-
你现在拥有了一个远程 Git 版本库，能为所有开发者共享代码提供服务，在一个本地工作流程下，你也已经熟悉了基本 Git 命令。你现在可以学习如何利用 Git 提供的一些分布式工作流程了。 这一章中，你将会学习如何作为贡献者或整合者，在一个分布式协作的环境中使用 Git。 你会学习为一个项目成功地贡献代码，并接触一些最佳实践方式，让你和项目的维护者能轻松地完成这个过程。另外，你也会学到如何管理有很多
-
我有一个maven项目，我在其中使用了spring数据和JPA（hibernate）。并通过XML进行配置。envers的默认架构已更改。但它不起作用。当我看到DDL输出时，它说： 错误组织。冬眠工具hbm2ddl。方案更新-HH000388:不成功：更改表格退伍军人。USERPROFILE_ROLE_AUD add constraint FK_nbpfx0RJC9HQIIV4VOFP82KC外键
-
我正在尝试测试我的分布式锁实现，但是我仍然没有找到使它工作的方法。我用两个简单的方法部署了一个REST服务，如下所示： distributedService对象实现getDistributedLock（）方法： 在黑兹尔卡斯特。xml文件，我启用了TCP-IP连接，并禁用了其他所有功能： 我在这两台机器上部署了应用程序，IP地址与。xml文件（192.168.0.01和192.168.0.02），
-
我的MySQL工作台6.0（我在Ubuntu上工作）有问题，当我选择一个服务器实例时，它显示的不是“SCHEMAS”面板，而是消息“No object selected”。在“SQL面板”（主面板）中，查询＜code＞显示数据库有效，但我在“SCHEMAS”面板中没有数据库列表。 我的所有实例都有这个问题，当有很多数据库和表时，这很烦人！ 你对这个问题有什么想法吗？ 谢谢，