Kafka到Google云平台的数据流摄取

Question

主题中的Kafka数据可以被流式传输、消费和吸收到BigQuery/云存储中，有哪些可能的选项。

按照，是否可以将Kafka与Google cloud Dataflow一起使用

GCP自带Dataflow,它建立在Apache Beam编程模型之上。KafkaIO与Beam Pipeline一起使用是对传入数据执行实时转换的推荐方式吗？

https://beam.apache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/kafka/kafkaio.html

Kafka数据可以推送到云pub-sub上，然后再推送到BigQuery表上。也可以使用GCP之外的Kafka流/Spark作业。

如果数据完全托管在谷歌云平台(GCP)上，那么在设计决策过程中需要考虑哪些因素？

Answer 1

另一个可能的选择是使用Google维护的Kafka Connect连接器将数据从Kafka上传到pub-sub。从Pub-Sub，您可以轻松地使用Dataflow在BigQuery或其他Google服务中摄取。

Answer 2

您可以使用Kafka Connect和BigQuery或GCS连接器。

• 以下是WebAy的示例。
• 本博客展示了使用Kafka Connect将数据从Kafka写入GCS和BigQuery。
• 此回购协议中有各种资源，可供您自己在GCP上运行Kafka Connect。

在转换方面，您可能对KSQL（它构建在Kafka Streams上）感兴趣，并且在同一博客中也有涉及。

免责声明：我为汇流公司工作，并撰写了一些上述材料。

Answer 3

卡夫卡支持在2016年加入到Apache Beam中，使用了KafkaIO转换集。这意味着Dataflow也支持它。

将数据加载到BigQuery中的最简单的方法是在DataFlow上运行Apache Beam管道。管道看起来如下所示：

Pipeline p = Pipeline.create();

p.apply("ReadFromKafka", KafkaIO.read()
                                .withTopic(myTopic)...)
 .apply("TransformData", ParDo.of(new FormatKafkaDataToBigQueryTableRow(mySchema))
 .apply(BigQueryIO.writeTableRows()
                  .to(myTableName)
                  .withSchema(mySchema));

p.run().waitUntilFinish();

在Dataflow上使用Beam流水线的优点是，您不必管理数据读取的偏移量、状态和一致性（相对于从Kafka->BQ读取的自定义编写的进程）；也不是集群（相对于火花作业）。

最后，这里是一个使用Kafkaio的管道示例。