如何使用KSQL将kafka集群中存在的所有主题存储到另一个主题
我是KSQL的新手。我想使用KSQL查询将kafka集群中存在的所有主题名称存储到另一个主题。来自KSQL CLI的SHOW TOPICS；给我主题列表。我想通过创建流将所有这些主题信息存储在另一个主题中。我将轮询这个新主题（使用消费者），每当在集群中创建新主题时，我的消费者都会收到一条消息。我想要一个KSQL查询来完成这一点。
提前感谢。
共有1个答案
您目前无法使用ksqlDB实现您想要的效果。SHOW TOPICS命令是系统命令，而不是sql语句。因此查询的输出无法通过管道传输到流中。
ksqlDB允许您在Kafka集群的主题中处理数据。它还不允许您处理Kafka集群的元数据，例如主题列表或消费群体等。
可能值得在GitHub上提出一个功能请求：https://github.com/confluentinc/ksql/issues/new/choose
-
我是Ksql新手，正在尝试聚合，已经创建了一个Kstream kstream。。。 ktable... 将这些值发布到Kafka test1主题中 当我使用Kafka控制台使用者时，我只看到输出为 {“总销售额”：200}{“总销售额”：500} 我怎样才能看到身份证也印在Kafka主题中？我需要在桌子外创建某种视图吗？
-
我见过，但对于我的（简单的）用例来说，它似乎有些过头了。 我也知道，但我不想仅仅为此编写和维护代码。 我的问题是：有没有一种方法可以用kafka原生工具实现这个主题调度，而不用自己写一个Kafka-Consumer/Producer？
-
问题内容： 在轮询Kafka时，我已经使用该功能订阅了多个主题。现在，我想设置的偏离，我想从每个主题阅读，而无需每次重新订阅后，并从一个话题。 在轮询数据之前，是否可以迭代调用每个主题名称 来 达到结果？偏移量如何精确存储在Kafka中？ 我每个主题有一个分区，并且只有一个使用者可以读取所有主题。 问题答案： Kafka如何存储每个主题的偏移量？ 卡夫卡已将抵销存储从动物园管理员转移到卡夫卡经纪人
-
我们希望侦听特定的Kafka主题，并构建它的“历史”--所以对于指定的键，提取一些数据，将其添加到该键的现有列表中（如果不存在，则创建一个新的列表），并将其放到另一个主题中，该主题只有一个分区，并且高度压缩。另一个应用程序可以只听这个主题并更新它的历史列表。 我在想它如何适合Kafka流库。我们当然可以使用聚合： 它创建一个由Kafka支持的本地存储，并将其用作历史表。 问题是，如果我只是为每个正
-
我有多个冗余的应用程序实例，希望消费一个主题的所有事件，并存储它们独立的磁盘查找（通过一个rocksdb）。 为了便于讨论，让我们假设这些冗余消费者正在服务无状态http请求；因此，不使用kafka共享负载，而是使用kafka将数据从生产者复制到每个实例LocalStore中。 在查看生成的主题时，每个消费应用程序创建了3个额外的主题： null null 下面是创建存储区的代码