用于kafka主题再处理的火花流批处理间隔
当前设置：Spark流作业处理timeseries数据的Kafka主题。大约每秒就有不同传感器的新数据进来。另外，批处理间隔为1秒。通过updateStateByKey()，有状态数据被计算为一个新流。一旦这个有状态的数据穿过一个treshold，就会生成一个关于Kafka主题的事件。当该值后来降至treshhold以下时，再次触发该主题的事件。
问题：我该如何避免这种情况？最好不要切换框架。在我看来，我正在寻找一个真正的流式（一个事件一个时间）框架。另一方面，Spark streaming对我来说是新的，所以我肯定错过了很多。
共有1个答案
在Spark1.6中，引入了一个用于与状态交互的新APIMapWithState。我相信那会解决你的问题。
看一下这里。
-
我有一个用例，我必须以FIFO方式处理事件。这些是从机器生成的事件。每台机器每30秒生成一个事件。对于特定的机器，我们需要根据FIFO FASION对事件进行处理。 我们每天需要处理大约2.4亿个事件。对于如此大的规模，我们需要使用Kafka+火花流 从Kafka文档中，我了解到我们可以使用消息的关键字段将消息路由到特定的主题分区。这确保我可以使用机器id作为密钥，并确保来自特定机器的所有消息都进
-
我有一些关于Kafka主题分区->spark流媒体资源利用的用例，我想更清楚地说明这些用例。 我使用spark独立模式，所以我只有“执行者总数”和“执行者内存”的设置。据我所知并根据文档，将并行性引入Spark streaming的方法是使用分区的Kafka主题->RDD将具有与Kafka相同数量的分区，当我使用spark-kafka直接流集成时。 因此，如果我在主题中有一个分区和一个执行器核心，
-
我正在运行一个spark作业，流上下文每60秒运行一次。问题是一批处理时间太长（由于计算和保存RDD和Parquet到云存储），一批无法在1分钟内完成。它结束于下一批继续进入并成为活动的（状态=处理）。过了一段时间，我有10个活动批处理，而第一个已经完成。结果，它明显减慢，没有一批能够完成。是否存在严格限制一次活动批处理的数量为1。 多谢了。
-
我正在处理UDF中的空值，该UDF在数据帧（源自配置单元表）上运行，该数据帧由浮点数结构组成： 数据帧（）具有以下架构： 例如，我想计算x和y的总和。请注意，我不会在以下示例中“处理”空值，但我希望能够在我的udf中检查、或是否。 第一种方法: 如果＜code＞struct是否为空，因为在scala中＜code＞浮点不能为空。 第二种方法： 这种方法，我可以在我的udf中检查是否为空，但我可以检查
-
我刚开始接触Kafka。我已经经历了这一切。它只表示kafka流DSL的数据/主题管理。任何人都可以共享Kafka流处理器API的相同数据管理的任何链接吗？我对处理器API的用户和内部主题管理特别感兴趣。 在流处理器开始使用输入数据之前，从哪里用输入数据填充此源主题？ 简而言之，我们可以像制片人写主题一样，使用流来写Kafka的“源”主题吗？或者流仅用于主题的并行消费？我相信我们应该像“Kafka
-
我们需要在Kafka主题上实现连接，同时考虑延迟数据或“不在连接中”，这意味着流中延迟或不在连接中的数据不会被丢弃/丢失，但会被标记为超时， 连接的结果被产生以输出Kafka主题（如果发生超时字段）。 （独立部署中的火花2.1.1，Kafka 10） Kafka在主题：X，Y,...输出主题结果将如下所示： 我发现三个解决方案写在这里，1和2从火花流官方留档，但与我们不相关（数据不在加入Dtsre