Kafka流左连接未生成所需结果
我有一个KStream与用户点击和使用userID作为关键也包含用户详细信息的KTable也使用userID作为关键。KStream和KTable都有一些分区，使用相同的分区策略和相同的键。
当我在这两个之间使用左连接时，大多数点击事件都没有与用户详细信息匹配，有一些匹配。但是当我用GlobalKTable更改KTable时，这些缺失的匹配会消失所有必需的用户点击都富含用户详细信息。
什么会导致这个问题？在加入KStream和GlobalKTable时使用KeyValueMapper是否解决了KStream到Ktable join中的问题？如果是这样，解决办法是什么。
编辑：UserId是一个压缩主题，由ConFluent. net客户端生成，我已经将默认分区策略更改为murmur2（Java客户端的默认配置）。
共有1个答案
>
在加入KStream和GlobalKTable时使用KeyValueMapper是否解决了KStream到Ktable join中的问题？
如果我们使用GlobalKTable，那么我们将失去Kafka在用户表上缩放的能力。
什么会导致这个问题？您能调试一些用户数据未被丰富的用户ID情况吗？然后检查单击流和用户表的用户ID分区号。
-
我有两个Kafka主题-和。第一个主题包含由唯一Id（称为）键入的recommendations对象。每个产品都有一个用户可以单击的URL。 主题获取通过单击推荐给用户的产品URL生成的消息。它是如此设置的，这些单击消息也由键控。 请注意 > 每个单击对象都会有一个相应的推荐对象。 click对象的时间戳将晚于Recommensions对象。 建议和相应的点击之间的间隔可能是几秒钟到几天（最多7天
-
我想加入一个 kstream:从主题创建，该主题具有JSON值。我使用值中的两个属性来重新键控流。示例值（json的片段）。我创建了自定义pojo类并使用自定义SERDES。 键映射为： 我查看了KStream并打印了键和我使用的属性。看起来都很好。 null 现在，当我执行内部连接并对主题进行窥视或通过/时，我看到键和值不匹配。Join似乎不起作用, 我有完全相同的东西通过ksql工作，但想做我
-
我想连接两个主题流（左连接），并在连接的流上进行基于窗口的聚合。然而，聚合将某些消息计数两倍，因为在连接期间，根据正确主题中的延迟，某些消息将发出两倍。以下是POC的代码。 它是否可以修复以避免因连接而重复？
-
我们在Kafka中只启用了ssl加密。客户端身份验证已关闭。 我们有一个spring boot应用程序连接到它。现在，
-
我正在阅读一个已经创建的Kafka主题，在这个主题上，一个单独的集群正在产生一些键和值。我的最终目标是以JSON格式写HDFS，为此我已经用Kafka HDFS Sink 5.3做了一段时间的实验。我面临的问题是，我无法将该主题的所有记录摄取并写入HDFS。到目前为止，如果我的主题包含每小时数百万条记录的数据，我只能写10万条记录。 以下是我用于kafka-connect-standalone.p
-
我正在尝试使用Debezium和kafka。我已经在属性中注册了一个包含3个表的连接器，并且它正常工作。下面是运行连接器的配置。 命令： 配置json： 这将成功执行，但当我列出Kafka主题时，只有最后3个主题出现，2个新的主题没有添加。