Apache Flink-是否可以均匀分布插槽共享组？
我们有一个带有操作的管道，分成两个工作负载-source->transform在第一组中，是CPU密集型的工作负载，它们被放入同一个插槽共享组，比方说source。和接收器,因为它使用大容量上载并在内存中保存大量数据。它被发送到接收器插槽共享组。
此外，source->transform工作负载和sink工作负载的并行度级别不同，因为第一个工作负载受源并行度的限制。例如，我们的source->transform并行度为50，同时sink并行度等于78。我们有8个TMs，每个有16个内核（因此也有插槽）。
在这种情况下，理想的插槽分配策略似乎是在每个TM上为源->转换分配6-7个插槽，其余的为宿分配，从而使CPU-RAM工作负载大致均匀地分布在所有TM上。
所以，我想知道是否有一些配置设置将告诉平均分配插槽共享组？
我只找到了cluster.evenally-spread-out-slots配置参数，但我不确定它是否实际上平均分配了插槽共享组，而不仅仅是插槽-例如，我得到的TMs有10个source->transform任务，而我希望有6个或7个任务。
那么，问题是是否可以告诉Flink到dsitribute插槽跨集群均匀共享组？或者很可能还有其他的可能做这件事？
共有1个答案
我曾经尝试过实现这一点，但问题是Flink没有提供启用操作符放置的特性。我所能得到的接近就是使用.map（...）.slotsharinggroup（“name”）；。正如关于“设置插槽共享组”的文档所说：
设置操作的插槽共享组。Flink会将具有相同插槽共享组的操作放入同一插槽中，而将没有插槽共享组的操作保留在其他插槽中。这可以用来隔离插槽。如果所有输入操作都在同一个插槽共享组中，则插槽共享组从输入操作继承。默认插槽共享组的名称是“default”，可以通过调用slotSharingGroup（“default”）显式地将操作放入该组。
SomestReam.Filter（...）.SlotSharingGroup（“名称”）；
-
0.1-0.2:********** 0.2-0.3:******** 0.3-0.4:********* 0.5-0.6:********* 0.6-0.7:********* 0.7-0.8:********* 0.4-0.5:********* 0.5-0.6:********* 0.6-0.7:********* 0.1-0.2:********* 0.2-0.3:********* 0.
-
我可以使用这个问题中的技巧来强制初始分区和最终分区之间的关系，但是Spark不知道每个原始分区的所有内容都将转移到一个特定的新分区。因此，它不能优化掉洗牌，而且它的运行速度比慢得多。
-
问题内容： 我知道如果我使用Java的Random生成器，并使用nextInt生成数字，则数字将均匀分布。但是，如果我使用2个Random实例，并使用两个Random类生成数字，会发生什么。数字是否会均匀分布？ 问题答案： 每个实例生成的数字将均匀分布，因此，如果将两个实例生成的随机数序列组合在一起，则它们也应均匀分布。 请注意，即使结果分布是均匀的，您也可能要注意种子，以避免两个生成器的输出之间
-
我们在AWS上运行16个节点kafka集群，每个节点是m4. xLargeEC2实例，具有2TB EBS（ST1）磁盘。Kafka版本0.10.1.0，目前我们有大约100个主题。一些繁忙的话题每天会有大约20亿个事件，一些低量的话题每天只有数千个。 我们的大多数主题在生成消息时使用UUID作为分区键，因此分区分布相当均匀。 我们有相当多的消费者使用消费群体从这个集群消费。每个使用者都有一个唯一的
-
我有一个有几个消费者的消费群体。每个使用者被分配到一组分区。消费者何时轮询选择了已使用分区的消息？它是在消费者端完成的，还是Kafka服务器决定使用哪个分区？ 我的一些分区有很多消息，但有些分区没有或几乎没有。但我仍然需要我的消费者平等地使用分配给它的每个分区。因此，我需要我的消费者快速遍历分区，最好从每个分配的分区轮询x条消息。 我在用https://github.com/appsignal/r
-
问题内容： 我试图识别/创建一个函数（在Java中），该函数给我一个非均匀的分布式数字序列。如果我有一个函数说它将给我一个从到的随机数。 该函数最适合任何给定的函数，下面仅是我想要的示例。 但是，如果我们说函数将返回来自分布式的s nonuni。 我想例如说 约占所有案件的20％。 大约是所有情况的50％。 约占所有案件的20％。 大约是所有情况的10。 总之somting，给我一个数字，如正态分