Kafka可以直接连接创建流吗？

Question

因此，我想知道做这件事的步骤。

我的理想是由kafka Connect创建与表相对应的主题，然后再由我声明（使用KSQL）创建视图。

虽然我在这里描述的一开始听起来是可行的，但我对数据有一个问题主题中数据的结构（模式）。问题似乎是，我可能必须做一个额外的步骤，但不知道它是否可以避免或实际上是必要的。

Answer 1

1-因此，问题是，有没有一种从Kafka connect自动创建Kstream或Ktable的方法？

不，您需要手动执行此操作。但如果您使用的是Avro,那么它只是一个简单的语句：

使用(kafka_topic='bar',value_format='avro')创建流foo；

CREATE STREAM foo (COL1 INT, COL2 VARCHAR, COL3 INT, COL4 STRUCT<S1 INT,S2 VARCHAR>) 
WITH (KAFKA_TOPIC='bar_json',VALUE_FORMAT='JSON');

3-如果Kafka connect不能直接创建Kstream和KTable，那么KSQL可以直接在Kafka connect创建的主题上操作连接吗？

KSQL可以连接流和表，是的。流/表只是一个带有模式的Kafka主题。

它是否能够解释这些主题中的数据结构（即kafka connect生成的模式）并对其执行连接，并将结果作为Kstream提供？

CREATE STREAM A WITH (KAFKA_TOPIC='A', VALUE_FORMAT='AVRO');
CREATE TABLE B WITH (KAFKA_TOPIC='B', VALUE_FORMAT='AVRO', KEY='ID');

CREATE STREAM foobar AS 
SELECT A.*, B.* FROM 
A LEFT OUTER JOIN B ON A.ID = B.ID;

null