带有阿帕奇超集的串联河童建筑

Question

互联网上有很多关于kappa架构的信息，在经历了一些概念方面之后，我试图深入研究更具体的东西。作为我的主要来源，我使用了这个网站。

让我们想象一下你想要实现一个涉及以下技术堆栈的kappa架构：

• Apache Kafka
• Apache Spark
• Apache超集

现在想象一下，您要构建的对其进行数据分析的应用程序具有PostgreSQL数据库。当然，您可以轻松地将阿帕奇超集与PostgresSQL数据库直接连接并创建图表。

但是现在你想看看你将如何使用kappa架构来做到这一点，你添加了kafka和Spark。你可以向kafka发送事件，你可以在apache Spark中读取这些事件。正如这个问题的答案中所指出的，kafka将在一定时期内保留topcis的消息。当我在文档中读到关于将超集与Spark连接的信息时，它说hive应该用作连接器（项目网站也声明该工具不受支持，如果你在pyhive上查看这个问题，你会发现impyla可能是一个替代方案）。但是对于存储系统来说，apache hive是一个完全不同的项目。那么这种连接将如何工作呢？假设你有运行的kafka节点（显然是zookeper），也有运行的火花，然后你通过这个带有火花的蜂巢连接器连接apache超集。

您如何针对kafka中的数据（实际上是实时数据）编写查询？

在spark side上，你可以很容易地编写一个scala程序，从kafka读取数据并对其进行处理，但是如何从apache superset中实现这一点呢？

还是这不是连接事物的预期方式？

Answer 1

如果我理解您的问题，您需要使用Spark结构化流将流SQL表注册到Hive metastore中，这可以从Spark Thiftserver的Superset中查询。

配置单元本身不存储任何数据。Hive还有一个内置的Kafka查询处理程序，所以Spark不是完全必要的。

但是，Hive/Spark并不是唯一的选择。您可以使用Spark给HDFS/S3写信，让Presto从超集中查询它。

或者您可以删除Spark并使用Kafka Connect写入仪表板工具（Tableau是另一个流行的工具）可以支持的任何其他东西——JDBC数据库（即Postgres）、Mongo、Cassandra等。然后您只需刷新面板以运行新查询。