在一个spark作业中使用多个spark结构化流式写入查询（90）可以吗？

Question

所以我一个月前开始学习spark和cassandra。我遇到了这样一个问题，我必须使用spark预先聚合来自传感器的数据，然后将其放入cassandra表。

这是我的应用程序流程

Sensor Data -> Kafka -> Spark Structured Streaming -> Sink to Cassandra

问题是，我需要将数据按秒、分、时、日、月聚合到每年。这导致我在cassandra中创建了90多个聚合表。

就我的进展而言，我发现我必须使用每个聚合的一个写流查询将每个聚合下沉到每个cassandra表，这导致我创建了这个庞大的Spark作业，其中包含90个写流查询。这正常吗？或者至少对火花来说是“好的”？

感谢您的帮助！！

编辑。示例：

我有这个传感器可以检测网络上的网络攻击。我有这种聚合：-每秒/分钟/小时/天/月/年每个传感器的事件计数

示例每秒聚合

Sensor  year  month    day  hour   minute   second  hit
S1      2018  8        12   3      22       45      98182
S1      2018  8        12   3      22       46      992814
...

每分钟聚合示例

Sensor  year  month    day  hour   minute    hit
S1      2018  8        12   3      22        212458182
S1      2018  8        12   3      23        5523192814

这适用于其余的度量（共9个度量），每个度量有-12个聚合表。。。

Answer 1

这取决于你在做什么类型的聚合。如果你能给我们一个或两个例子，它会很有帮助。

Answer 2

这是一个非常普遍的问题，实际上取决于你如何完成它。但一般来说，如果需要写入90个表，就无法真正避免90个writestreams，这应该是可以的。但这取决于OOO问题。

不管怎样，如果成功了，就成功了。