当前位置: 首页 > 知识库问答 >
问题:

Flink“Time Window”操作不为PublicPlacesFromKafka示例文件生成输出

卫胜
2023-03-14
...
// find popular places
val popularSpots = rides
  // match ride to grid cell and event type (start or end)
  .map(new GridCellMatcher)
  // partition by cell id and event type
  .keyBy( k => k )
  // build sliding window
  .timeWindow(Time.minutes(15), Time.minutes(5))
  // count events in window
  .apply{ (key: (Int, Boolean), window, vals, out: Collector[(Int, Long, Boolean, Int)]) =>
    out.collect( (key._1, window.getEnd, key._2, vals.size) )
  }

// print result on stdout
    popularSpots.print()
...

共有1个答案

南宫保臣
2023-03-14

您是否为源配置了适当的加速比?默认情况下(没有加速系数),源模拟原始数据,即它以与原始生成的记录相同的速率发出记录。这意味着生产1分钟的数据需要1分钟。

window运算符每5分钟聚合一次最后15分钟的数据。因此,窗口操作符产生第一个结果需要5分钟的时间。

如果您将加速系数设置为600,您将在1秒内获得10分钟的数据。

 类似资料:
  • 我正在使用Flink来处理我的流数据。 流媒体来自其他一些中间件,如Kafka、Pravega等。 说Pravega正在发送一些文字流,<代码>你好,世界,我的名字是 。 我需要的是三个过程步骤: 将每个单词映射到我的自定义类对象。 将对象映射到String。 将字符串写入文件:一个字符串写入一个文件。 例如,对于流,我应该得到五个文件。 这是我的代码: 此代码将所有结果输出到Flink日志文件。

  • 本文向大家介绍Python生成rsa密钥对操作示例,包括了Python生成rsa密钥对操作示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了Python生成rsa密钥对操作。分享给大家供大家参考,具体如下: 对文件进行RSA加密解密 PS:关于加密解密感兴趣的朋友还可以参考本站在线工具: 在线RSA加密/解密工具: http://tools.jb51.net/password/rsa_e

  • 本文向大家介绍Yii 框架使用Gii生成代码操作示例,包括了Yii 框架使用Gii生成代码操作示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了Yii 框架使用Gii生成代码操作。分享给大家供大家参考,具体如下: 开始 Gii Gii 是 Yii 中的一个模块。 可以通过配置应用的 modules 属性开启它。通常来讲在 config/web.php 文件中会有以下配置代码: 这段配置表

  • 我正在计算一个时间窗口上的计数(求和1),如下所示: 我还想将窗口开始时间添加为一个关键字段。所以结果会是这样的: 所以本质上是按窗口聚合计数。最终目标是绘制这些窗口的直方图。 如何将窗口的开头添加为键中的字段?然后,在这种情况下,将窗口对齐到00秒或30秒?这可能吗?

  • 早些时候,我问了Flink一个简单的hello world示例。这给了我一些很好的例子! 然而,我想问一个更“流”的例子,我们每秒生成一个输入值。这在理想情况下是随机的,但即使每次都是相同的值也可以。 目标是获得一个无需/最少外部接触就能“移动”的流。 因此,我的问题是: 我发现如何显示这与外部生成数据和写入Kafka,或听一个公共源,但是我试图解决它与最小的依赖性(像在Nifi与Generate

  • 本文向大家介绍java 对象输入输出流读写文件的操作实例,包括了java 对象输入输出流读写文件的操作实例的使用技巧和注意事项,需要的朋友参考一下 java 对象输入输出流读写文件的操作实例 java 支持对对象的读写操作,所操作的对象必须实现Serializable接口。 实例代码: 输出结果: 如有疑问请留言或者到本站社区交流讨论,本站关于java开发的文章还有很多,希望大家搜索查阅,感谢阅读