如何存储火花流数据
在spark streaming中，流数据将由在worker上运行的接收器接收。数据将被周期性地推入数据块中，接收者将向驱动程序发送receivedBlockInfo。我想知道这会引发流将块分发到集群吗？（换句话说，它会使用分发存储策略吗）。如果它不在集群中分发数据，如何保证工作负载平衡？（我们有一个10s节点的集群，但只有几个接收器）
共有1个答案
据我所知，数据是由接收者运行的worker节点接收的。它们不分布在其他节点上。
如果在进一步处理之前需要对输入流进行重新分区（跨集群平衡），可以使用
inputStream.repartition(<number of partitions>)
您可以在Spark文档
https://Spark.apache.org/docs/latest/streaming-programming-guide.html#performance-tuning中了解更多关于并行度的信息
-
我有一个spark流媒体作业，它每5秒钟读取一次Kafka，对传入的数据进行一些转换，然后写入文件系统。 这实际上不需要是一个流式作业，实际上，我只想每天运行一次，将消息排入文件系统。但我不知道如何停止这项工作。 如果我向streamingContext传递超时。等待终止，它不会停止进程，它所做的只是导致进程在流上迭代时产生错误（请参见下面的错误） 实现我所要做的事情的最佳方式是什么 这是Pyth
-
我试图从聚合原理的角度来理解火花流。Spark DF 基于迷你批次，计算在特定时间窗口内出现的迷你批次上完成。 假设我们有数据作为- 然后首先对Window_period_1进行计算，然后对Window_period_2进行计算。如果我需要将新的传入数据与历史数据一起使用，比如说Window_priod_new与Window_pperid_1和Window_perid_2的数据之间的分组函数，我该
-
谢谢。
-
在PySpark中或者至少在Scala中，Apache Spark中是否有与Pandas Melt函数等价的函数？ 到目前为止，我一直在用Python运行一个示例数据集，现在我想对整个数据集使用Spark。
-
如果spark streaming在10秒的批处理间隔中获得50行消息，并且在40.5行消息之后，这10秒就结束了，剩下的时间落入另一个10秒的间隔中，前40.5行的文本是一个RDD被首先处理，在我的用例中，前40行是有意义的，但是下一个。5行没有意义，第二个RDD首先也是这样。5行，我的问题是否有效？。请提供建议如何处理这个问题？。 谢谢比尔。