当前位置: 首页 > 知识库问答 >
问题:

带键控状态的自定义分区

商运锋
2023-03-14

我有自己的分区技术为数据流元组生成键,这些键的范围等于集群中的节点数,如果我将并行度设置为4,则生成的键将是0、1、2和3,以此类推,然后每个键都应该被分区到同一个节点,以便使用键状态进行更多的键化处理。

发生了什么:我使用keyBy实现了我的逻辑,所以我可以使用键控状态,但是它有很大的偏斜性,有些节点没有接收到记录,而其他节点接收到的记录不止一个。我尝试过使用自定义分区,它按照我想要的方式进行物理分区,但是如果不使用KeyBy,我就无法使用键控状态。

是否有一种方法来控制偏斜度或强制键在可用节点上并行化?或者有没有一种方法可以覆盖Keyby中使用的分区技术?或者有没有一种方法可以在自定义分区中使用键控状态?

共有1个答案

郭恩
2023-03-14

据我所知,对于这种键空间大小(大致)等于并行度的情况,没有一个干净的解决方案。一种有效的暴力方法是编写您自己的keyselector函数,并让它为每个分区计算键,使这些键属于分配给不同工作者的键组,但要弄清楚如何做到这一点并不简单。

已经讨论过在用户邮件列表上这样做。

 类似资料:
  • 自定义的状态栏覆盖在系统状态栏上,能够在自定义的状态栏中显示文字信息,可以隐藏自定义的状态栏,显示系统状态栏。 作者@贺坤Smaile 说:之前逛街看到移动做推广,有一个定位应用挺好的,合理的利用了状态栏,做了一些消息提醒和隐藏动画,自己回家就做了一个这样的demo,效果很不错,一个多月之前写的,看到有人求,分享出来。 [Code4App.com]

  • 我尝试用自定义控制器制作一个自定义组件。自定义组件已经显示在应用程序上,但我未能向其添加属性。 项目结构: null 布尔马尔科 完全错误: 原因:java.lang.nullPointerException:无法调用“javafx.scene.image.imageeview.setimage(javafx.scene.image.image)”,因为“controller.topbarbtn.

  • 我考虑在项目中使用fluent-http。 所以我尝试注入: 返回正确的字符串,但似乎没有使用状态代码。在这两种情况下,响应都有一个代码HTTP200。 注意:我发现一些状态代码是预先实现的: null

  • 本文向大家介绍Android自定义控件(实现状态提示图表),包括了Android自定义控件(实现状态提示图表)的使用技巧和注意事项,需要的朋友参考一下 前面分析那么多系统源码了,也该暂停下来休息一下,趁昨晚闲着看见一个有意思的需求就操练一下分析源码后的实例演练—-自定义控件。 这个实例很适合新手入门自定义控件。先看下效果图: 横屏模式如下: 竖屏模式如下: 看见没有,这个控件完全自定义的,连文字等

  • 我正试图用在中添加自定义分隔符,但没有成功,我已经搜索了很多,并查看了下面提到的答案,但这对我没有帮助 链接1 链接2 链接3 我想在的每个项之间加上黑线,如下所示。 我在每行之间都有水平线,但不知道如何在列之间得到这些线。 chintan Soni的答案工作很好,但它只在一个场景中产生问题,当我有5个视图时,它还显示了其他3个项目的分界线,如下所示:

  • 注:在 Status.Code 中通过枚举的方式定义状态码,这些状态码的定义非常的有参考和借鉴价值,因此详细翻译了一遍。 定义和注释 OK(0):成功 操作成功完成 CANCELLED(1):被取消 操作被取消(通常是被调用者取消) UNKNOWN(2):未知 未知错误。这个错误可能被返回的一个例子是,如果从其他地址空间接收到的状态值属于在当前地址空间不知道的错误空间(注:看不懂。。。)。此外,A