当前位置: 首页 > 知识库问答 >
问题:

来自Flink流的手动检查点

冉德元
2023-03-14

是否可以从Flink流作业触发检查点?

我的用例是:我有两个流R和S要用滚动的时间窗口连接。来源是Kafka。我使用事件时间处理和BoundedOutOfOrdernessGenerator来确保来自两个流的事件最终出现在同一个窗口中。

共有1个答案

阚吕恭
2023-03-14

看来这里的问题是关卡的效率。考虑使用带有增量检查点的RocksDB状态后端,这在调试和优化检查点和大型状态下的文档中进行了讨论。

 类似资料:
  • 我正在尝试使用https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kafka.html从flink kafkaconsumer流式传输数据 在这里,我的KAFKA是Kerberos安全的,并且启用了SSL。 我该如何解决这件事?有没有别的办法通过KRB5?

  • 我对闪身是个新手。我正在尝试在我的应用程序中启用检查点和状态。我从Flink文档中看到了我们是如何存储键控状态的。但是我想知道我们是否可以存储非键控状态(的状态)

  • 下面是我对Flink的疑问。 我们可以将检查点和保存点存储到RockDB等外部数据结构中吗?还是只是我们可以存储在RockDB等中的状态。 状态后端是否会影响检查点?如果是,以何种方式? 什么是状态处理器API?它与我们存储的保存点和检查点直接相关吗?状态处理器API提供了普通保存点无法提供的哪些额外好处? 对于3个问题,请尽可能描述性地回答。我对学习状态处理器API很感兴趣,但我想深入了解它的应

  • 项目的开发是由无数个微小的改动组成的。了解项目开发过程的关键就是要搞清楚每一个改动。 当然你可以使用 “git status” 命令或更简单的 “git log” 命令来打印出项目的状态和历史记录,但是这些命令仅仅只能为你提供一个非常简单的信息概要,想要显示一个详细的修改信息就必须使用另外一个命令。 读懂 Diffs 在版本控制系统中用来显示两个版本之间差别的操作我们称之为 “diff”,或者 “

  • 使用指南 - 代码安装 - 代码检查 - 手动检查代码的方法 #代码手动检查 对于一些特殊情况,系统无法自动检查代码安装状态,需要您手动检查,常见的方式是直接看“实时访客报告”或者“受访页面报告”看是否有数据,但在js调用代码情况下或者数据延时时,以上方式不能完全检查代码是否安装正确。 您可以用浏览器自带的开发者工具进行手动查看,非常便捷。 方法一:用Chrome 浏览器查看代码是否已安装方法:

  • 我的工作流程工作原理如下: src[Kafka]- 但我的工作是运行精细的数据完美地流向Kafka和MySQL,但它在检查点失败,附加图像相同。 Ps :目前我已经禁用了检查点,但是当我使用相同的属性启用时,它会失败