Flink自定义分区器示例
我试图处理的用例如下：
- 我们有一个来自Kafka的数据流
所以举个例子：
- 让我们假设所有消息都是表示编码数据的字节数组
- 编码数据中具有特定值的所有消息都应由一个操作员处理
- 这样，当我们接收到与相同值对应的特定消息时，这些消息可以作为状态存储在操作符上（在分区器之后），并可用于丰富后续消息
问题：
- 自定义分区程序会对此有所帮助吗
- 如果不是，那么什么是一个好的解决方案
- 有人可以在Flink中为数据流共享一个自定义分区器的示例吗。我找不到任何完整的例子
共有1个答案
自定义分区器会有所帮助，但对您的情况来说没有必要。
您可以从消息中提取分组值，并将其用作分组键。因此，在源读取数据后，您可以使用映射来提取值（例如，记录-
-
我正在实现一个自定义消费者的主题/分区分配在Kafka。为此，我将重写抽象类，该类又实现接口。 作为自定义赋值器的一部分，我希望发送一个关于消费者订阅的每个主题的每个分区的单个（浮动）信息。 我知道可以通过重写接口的默认方法向赋值器发送自定义数据。 但是，问题是，从上面的方法签名中，我无法获得为使用者注册的每个主题分配给带下划线使用者的分区列表。 谢谢你。
-
本文向大家介绍angularjs自定义过滤器demo示例，包括了angularjs自定义过滤器demo示例的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了angularjs自定义过滤器demo。分享给大家供大家参考，具体如下： 这个基于angularjs的过滤器是最近做的"信息管理学院实验室预约"项目中的一个小功能。 以下为数据: 具体功能: 分别在两个select选择星期和课次，列表会即
-
6.13.2 自定义 ItemWriter 示例 自定义实现 ItemWriter 和上一小节所讲的 ItemReader 有很多方面是类似, 但也有足够多的不同之处。 但增加可重启特性在本质上是一样的, 所以本节的示例就不再讨论这一点。和 ItemReader 示例一样, 为了简单我们使用的参数也是 List: public class CustomItemWriter<T> implement
-
6.13.1 自定义 ItemReader 示例 为了实现这个目的,我们实现一个简单的 ItemReader, 从给定的list中读取数据。 我们将实现最基本的 ItemReader 功能, read: public class CustomItemReader<T> implements ItemReader<T>{ List<T> items; public CustomIte
-
我正在为一个项目试验Apache Flink。我正在使用 Flink 来聚合一系列传感器捕获的环境数据。为了计算空气质量指数，我正在尝试实现一个自定义聚合函数，以便在带有窗口的分组选择中使用，但我对类型提示有问题。下面是带有 DataTypeHint 注释的函数代码： 但我有以下例外： 我做错了什么？
-
因此，基本上，当为时，即第一次，应在20秒内触发，并将设置为。从下一次开始，它应该每隔5秒就会被发射一次。 我面临的问题是，每次被激发时，输出中只有一条消息。也就是说，我在20秒后收到一条消息，每5秒收到一条消息。我希望在每次触发的输出中有20条消息。 如果我使用并创建一个五秒的时间窗口，则每5秒输出20条消息。请帮我把这个代码弄对。我是不是缺了什么？