当前位置: 首页 > 知识库问答 >
问题:

引导闪烁状态

龙涵蓄
2023-03-14

我正在开发一个简单的聚合,它对给定资源上发生的事件总数进行汇总(请参阅:在flink中计算总数并定期发射)。在一些人的帮助下,我成功地完成了这项工作,但现在我遇到了另一个问题。

我试图计算资源生命周期的总数,但我正在从保留期为24小时的kinesis流中读取事件。因为这意味着我无法访问在此之前发生的事件,所以我需要从一个每天计算一次总数的遗留(批处理)系统引导我的状态。

基本上,我希望以某种方式从遗留系统(加载昨天的统计数据)引导状态,然后将今天的数据从kinesis流中加入,并避免过程中的重复。理想情况下,这将是一个一次性的过程,应用程序应从那时起开始运行。

如果我遗漏了什么,我很乐意提供更多细节。

谢谢

共有2个答案

爱花蜂
2023-03-14

我面临着类似的问题。我目前的解决方案是有两个数据源——一个用于历史数据,另一个用于当前数据。然后我将把源代码与一个CoFlatmap函数结合起来。此函数必须跟踪传入记录,缓冲它们并按正确顺序输出它们。不幸的是,这种方法需要一些工作。

倪振海
2023-03-14

我建议用Flink州来做这件事(https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/stream/state/state.html)。您可以拥有一个ValueState对象,该对象保存刚刚更新的资源的总值,或者您可以执行ListState来保存所有通过的值,并在发生新事件时对所有值进行重新计算。很明显,ListState将使用比单个主值更多的内存,但我不知道您需要什么。

 类似资料:
  • 问题内容: 我现在正在编写一个JApplet,每当我调用super.paint()时,该applet都会闪烁。我正在使用双缓冲(先绘制图像,然后渲染该图像),但我认为super.paint()正在清除屏幕或其他东西,打败了我的双缓冲。 我知道我应该使用paintComponents(),但是由于某些原因,当我调用“ currentScreen.Draw(g)”时,它不会显示屏幕的绘制。 谁能帮我这

  • 2)我研究了循环分区的重新平衡。假设我建立了一个集群,如果我的源的并行度为1,如果我进行了重新平衡,我的数据是否会在机器之间进行重排以提高性能?如果是这样,是否有一个特定的端口将数据传送到集群中的其他节点? 3)状态维护有什么限制吗?我计划维护一些用户id相关的数据,这些数据可能会变得很大。我读到flink使用rocks db来维护状态。只是想检查一下是否有限制可以维护多少数据? 4)同样,如果数

  • 这是因为在开发模式下,为了通过 Webpack 实现热加载,CSS代码是打包在 JavaScript 代码中,并动态打到页面中去,从而元素重绘引起了闪烁。 不用担心,在生产模式下,CSS代码会单独打包至独立的文件并置于head标签内,不会出现页面闪烁的现象。

  • 我在Lollipop上的共享元素转换中看到了奇怪的事情。共享元素在开始动画之前闪烁(请看视频https://www.youtube.com/watch?v=DCoyyC_S-9A) 我不知道为什么会这样。但是,当我添加

  • 我试图用pyplay制作一个游戏,我几乎完成了,但我想让被画在墙上的盒子不闪烁,这些红色的盒子在整个游戏中闪烁,我不想让它们闪烁,最后,我在一个if条件下调用player碰撞函数,在这里每当我制作新的碰撞器时,我每次都要在if条件下添加函数,我想要的是碰撞器对象自动调用这个函数,而不需要我在if语句中为碰撞器的每个实例调用它对象。请指导我如何这样做。

  • 减低闪烁    以Interlace(交错扫描)方式在电视机输出PSP™规格软件的影像时,设定是否要减低画面的闪烁。 关 不减低画面的闪烁。 开 减低画面的闪烁。