每个制片人的Kafka话题
假设我有多个设备。每个设备都有不同类型的传感器。现在我要把每个传感器的每个设备的数据发送给Kafka。但我对Kafka的主题感到困惑。用于处理此实时数据
-
null
情况2：向一个主题发送数据
设备1（传感器A,B,C）,设备2（传感器A,B,C）...设备....->主题
>
这不是数据瓶颈吗。因为它将表现为队列，来自某个传感器的数据将在队列中落后，并且不会被实时处理。
设备1
->传感器A-TOPIC1分区1
->传感器B-Topic1分区2
设备2
如果不是Kafka，什么Pub/Sub会适合这种行为。
共有1个答案
这取决于您的语义：
- 主题是逻辑抽象，应该包含“统一”数据，即具有相同语义意义的数据
- 主题可以通过其分区数轻松扩展
例如，如果有不同类型的传感器收集不同的数据，则应为每种类型使用一个主题。
更新
有一篇博文对此进行了讨论：https://www.confluent.io/blog/put-moulation-event-types-kafka-topic/
-
我在一个视频教程中看到，当制作人发布消息时，Kafka Broker支持3种类型的确认。 0-开火并忘记 1-领导确认 2-确认所有经纪人 我正在使用Kafka的Java API发布消息。这是必须为每个使用服务器的代理设置的吗。每个经纪人的特定属性，还是必须由制作人设定？如果必须由制作人设置，请解释如何使用Java API设置。
-
我有一个服务器a，在服务器a中，我安装了kafka并启动了kafka和Zookeeper。我还创建了一个主题作为my_topic。现在我有一个应用程序B运行在服务器B中，应用程序B有一些数据，我想把这些数据推送到服务器A中的my_topic。我是否也需要在服务器B中安装kafka并在服务器B中创建一个生产者？如果是，如何将来自服务器B的消息推送到服务器A中的主题？介质是什么？
-
问题内容： 使用以下代码，我发送Elasticsearch文档以进行索引。我尝试将基本对象转换为JSON并通过生产者发送。但是，每条消息（从控制台检查）都附加了乱码，例如 - t。{“ productId”：2455 出站配置 有什么线索吗？ 使用的插件：Spring Extension Kafka 问题答案： 我今天遇到了这个问题，可以通过在生产者配置中设置正确的value-serializer
-
我指定“kafka_auto_create_topics_enable:'false'”是因为我想手工创建主题，所以我进入第一个broker容器并键入以下内容： ./kafka-topics.sh--创建--zookeeper 172.19.0.2:2181--主题test1--分区4--复制-因子3 看起来一切都很好： ./kafka-topics.sh--list--zookeeper 172
-
我正在尝试为Kafka制作人创建一个简单的捆绑包，在apache Karaf版本4.0.3中。 这是我的Java代码 我已经在pom.xml中明确声明了各自的依赖关系 我也部署了那个kafka客户端包。 但在启动生成器时，我看到以下第一次尝试时的异常。 然后连续这个。。。 有没有人对捆绑包提出类似的问题？
-
我是新的Kafka和尝试实现一个简单的生产者，发送数据到一个主题。如果主题不存在，我希望将sutiation作为异常处理。 但是，如果主题不存在，则继续轮询消息。将忽略ProducerConfig的超时和重试。 有办法解决这个问题吗？