如何在Spark workers上定期更新对象？

Question

我在Spark应用程序中有一个要求，需要定期更新工作代码将使用的变量。

为了获得更具体的理解，我需要将数据以相等的分区放置到Kinesis碎片中。动觉碎片的数量可以随时增加或减少，因此我应该始终获得正确的碎片数量，因为我的分区键是

System.currentTimeMillis%shadSize

但是我不想总是查询这个，所以像java.util.TimerTask这样的东西会有所帮助，我可以向工人广播。

这是我需要定期运行并将值广播给从站的代码。

def fetchNumberOfShards(): Integer = {
    val describeStreamRequest = new DescribeStreamRequest()
    describeStreamRequest.setStreamName(streamName)
    val describeStreamResult = kinesisClient.describeStream( describeStreamRequest )
    val shards = describeStreamResult.getStreamDescription().getShards()
    return shards.size()
}

Answer 1

我认为您只需要使用具有均匀分布的随机分区密钥，例如System.currentTimeMillis。您实际上不需要指定要使用哪个分片，因此不需要跟踪有多少分片。

编辑

鉴于您在这方面运气不佳，广播变量将为您解决此问题：

广播变量允许程序员在每台机器上缓存一个只读变量

// executes on driver
scala> var broadcastVar = sc.broadcast(numShards)
broadcastVar: org.apache.spark.broadcast.Broadcast[Int] = Broadcast(0)

// retrieve value on worker
scala> broadcastVar.value
res0: Int = 5

http://spark.apache.org/docs/latest/programming-guide.html#broadcast-变量

驱动程序可以根据需要定期更新广播var，工作人员只能读取广播var。值 。然后可以使用broadcastVar。值插入到shard哈希函数中。