独立Kafka制作人
我正在考虑创建一个独立的Kafka生产者，它作为守护进程运行，通过套接字接收消息，并将其可靠地发送给Kafka。
但是，我决不能是第一个想到这个想法的人。这样做的目的是避免使用PHP或Node编写Kafka生成器，而只是通过套接字将消息从这些语言传递到独立的守护进程，这些语言负责传递，而主应用程序则一直在做自己的事情。
此守护进程应负责在发生中断时进行重试传递，并充当服务器上运行的所有程序的传递点。
这是一个好主意，还是用每一种使用的语言编写制作人都是常见的方法？一定不是这样吧？
共有1个答案
你应该看看Kafka连接器。下面是其中之一：Kafka连接套接字源代码
在这里您可以找到如何使用它：https://www.baeldung.com/kafka-connectors-guide
示例配置connect-socket-source.properties：
name=socket-connector
connector.class=org.apache.kafka.connect.socket.SocketSourceConnector
tasks.max=1
topic=topic
schema.name=socketschema
port=12345
batch.size=100
-
我是Kafka的新手，我想验证我的设计。下面是我所拥有的。 我有一个生产者发布到一个主题，有一堆容器（部署我的web应用程序的地方），每个容器上都运行着一个消费者。这些消费者不在消费者组中，也不独立地消费消息。每个消费者都应该阅读主题中的所有消息。例如，假设主题m0,m1,m2上有3条消息，那么consumer1到consumerN应该独立地读取m0,m1,m2。每个使用者在处理读取的消息后立即提
-
我正在尝试在非spring应用程序中集成一个基于Spring Boot云流的库和Kafka。 当此库在另一个Spring应用程序中加载时，一切正常。 当我尝试使用启用非Spring启动的应用程序初始化应用程序上下文并获取我的bean时，我收到以下警告和异常：
-
在我们的项目中，我们决定在应用程序中使用Ehcache作为Hibernate和查询缓存的二级缓存。看起来效果不错。 然后，我们突然意识到我们的生产环境是集群的。查看ehcache文档，我发现最好的方法是使用分布式缓存，但是这涉及到Terracotta服务器，客户端在这个阶段不准备为此付费。 根据留档，对于独立拓扑： 如果在多个应用程序节点运行同一应用程序的情况下使用独立缓存，则它们之间的一致性较弱
-
> 提交应用程序未设置，然后它将创建 1名16芯工人 使用提交，然后它将创建一个包含15个核心的worker
-
我正在尝试从kafka中的主题将数据插入postgres数据库。我正在使用以下命令加载 sink-quick start-MySQL . properties如下 我得到的错误是 Postgres jar文件已经在文件夹中。有人能提出建议吗？
-
我想将多个数据库的更改聚合到一个数据库中，所以我想在每个数据库旁边运行一个Debezium连接器和一个Kafka服务器/代理，并使用Kafka接收器连接器从所有这些Kafka中消费写入一个数据库。 问题是，我是否可以使用单个 Kafka 接收器连接器实例同时使用来自多个独立（不是集群）的 Kafka 代理。