kafka流应用程序从写入中分离读取

Question

我对Kafka和Kafka流很陌生，所以请容忍我。我想知道我是否在正确的轨道上。

我正在给一个Kafka主题写信，试图通过rest服务访问数据。在访问原始数据之前，需要对其进行转换。

到目前为止，我拥有的是一个将原始数据写入主题的制作人。

1）现在我想要streams应用程序（应该是一个在容器中运行的jar），它可以将数据转换为我想要的形状。遵循这里的物化视图范式。

1的过度简化版本。）

    KStreamBuilder builder = new KStreamBuilder();

    KStream<String, String> source = 
    builder.stream("my-raw-data-topic");

    KafkaStreams streams = new KafkaStreams(builder,props);
    KTable<String, Long> t =  source.groupByKey().count("My-Table");
    streams.start();

2）和另一个streams应用程序（应该是一个在容器中运行的jar），该应用程序将KTable作为某种存储库保存，可以通过包装rest服务访问。

在这里，我坚持使用api的正确方法。访问和查询表的最小值是多少？我需要再次将转换拓扑分配给生成器吗？

KStreamBuilder builder = new KStreamBuilder();
KTable table = builder.table("My-Table"); //Casting?
KafkaStreams streams = new KafkaStreams(builder, props);

RestService service = new RestService(table); 
// Use the Table as Repository which is wrapped by a Rest-Service and gets updated reactivly 

现在这是伪代码

我走在正确的道路上吗？分开1.）和2.）有意义吗？这是使用流实现视图的缩进方式吗？对我来说，在我看到更多流量的情况下，通过容器独立扩展写入和读取会有好处。

在崩溃1）或2）时，如何处理KTable的重新填充。这是通过复制到流api来实现的，还是我需要通过代码来解决的。比如重置光标并回复事件？

Answer 1

几点意见：

在您的代码片段（1）中，您将构建器交给KafkaStreams构造函数后修改了拓扑：

KafkaStreams streams = new KafkaStreams(builder,props);
// don't modify builder anymore!

您不应该这样做，而是首先指定拓扑，然后创建KafkaStreams实例。

关于将您的应用程序一分为二。独立缩放这两个部分是有意义的。但一般来说很难说。但是，如果您同时吐出这两个部分，第一个需要将转换后的日期写入输出主题，第二个应该将此输出主题读取为表（builder.table（"outout-topic-of-变换"）以满足REST请求。

要访问KTable的存储，您需要通过提供的存储名称获取查询句柄：

ReadOnlyKeyValueStore keyValueStore =
streams.store("My-Table", QueryableStoreTypes.keyValueStore());

详见文件：

http://docs.confluent.io/current/streams/developer-guide.html#interactive-查询