在插入/更新KTable时重新处理丰富的kstream数据
这里是一个假设但类似的场景，与我试图使用Kafka流实现的场景相似。
我有流数据，销售，我想丰富不经常变化的查找数据，例如用户和项目，我计划为它创建KTable。我计划使用connect Sink将这些丰富的数据推送到一个主题和搜索引擎。
我如何确保用户/项目数据的更新也会触发过去销售数据的丰富，而不仅仅是在流中摄入的新数据。据我所知，KTable插入/更新不会触发对流的过去数据的任何重新处理。
我相信这可能是一个常见的用例，至少我可能不是第一个有这种需求的人。有解决方案或变通方法的指导吗？
共有1个答案
如果您想要更新旧的数据，这意味着您想要进行表-表连接。但是请注意，在这种情况下，两个输入的所有数据都需要保留在应用程序上。
-
我有一个Kafka主题，包含Json格式的数据： 我想用类似“参考表”的东西来规范内容： 为了输出： 我认为这是使用存储参考数据的典型用例。但我在实施上有点纠结。 当前状态 摄取参考数据 在Kafka上创建的专用主题： 主题提供了示例Json数据： 在对键和值进行返工后，在中摄入的数据： 在主题中，我得到以下行： 这看起来像我所期望的。双引号很奇怪，但这并不妨碍我走得更远。 数据被/应该存储在名为
-
问题内容： 我有一个dao，它基本上使用hibernate将记录插入到一个表中，该dao用标记为注释，并且我有一个服务，该服务会生成其他一些东西，然后调用我的dao。我的服务也标注了使用。 我叫服务循环。我在dao上的插入内容是否可以批量或一个接一个地工作？我如何确定它们可以批量工作？hibernateTransaction Manager是否管理批处理插入？ 我正在使用Oracle DB。
-
嗨，我已经搜索并试图解决这个问题，但未能找到解决方案，抱歉占用了你的时间。我在laravel中插入一组数据与查询生成器一次插入多个数据。 有没有办法检查表中的值是否存在，然后更新，否则插入。如果所有数据成功更新或插入，我想从查询结果中返回或。我想解决它与laravel查询生成器。谢啦
-
这里一个非常常见的问题是如何执行upsert，MySQL称之为，标准支持将其作为操作的一部分。 鉴于PostgreSQL不直接支持它（在PG9.5之前），您如何做到这一点？考虑以下几点： 现在假设您要“upsert”元组，，那么新的表内容将是： 这就是人们在讨论时所谈论的。至关重要的是，在同一表上存在多个事务的情况下，任何方法都必须是安全的--要么使用显式锁定，要么以其他方式防止产生的竞争条件。
-
问题内容： 我知道该主题已经在许多问题上得到了解答，但仍然无法解决。 我只想 在提取 大型xml文件的 某些内容 时 更新progressBar 。我认为在另一个线程中使用耗时的循环就足够了，但是？。我设法得到的是ProgressBar要么根本不显示，要么在关闭之前最后进行更新。 在启动该应用程序附近的某个地方，我有： 在显示和更新带有JProgressBar的JDialog时： 所以我有这个 m
-
我有一个表，有多条记录具有相同的ID但不同的值。我想从其他表复制记录到这个表。如果记录为空，我想更新到最小位置，或者如果值不存在，插入到下一个位置。 这是我的目标表： ID|职位|价值 1 | 1 | A 2 | 1 | B 2 | 2 |空 2 | 3 |空 2 | 4 | C 3 | 1 | A 4 | 1 | D 4 | 2 | B 源表： ID |值 1 | C 2|N 3 | B 4 |