当前位置: 首页 > 知识库问答 >
问题:

正在处理Apache Flink限制数据

郭皓
2023-03-14

我正在寻找一种可以限制当前正在处理的数据量的选项。

用例:我正在从Kafka数据流中读取并处理该数据,我想限制正在运行的消息数量。这样做的原因是第三方应用程序的吞吐量。通常这不是问题,但在背压的场景中,由于这些故障,经常会出现故障和应用程序重新启动。

共有1个答案

牛华皓
2023-03-14

可用于此目的的一些工具包括:

  1. 限制平行度
 类似资料:
  • 有什么办法解决这个问题吗?

  • 我是tesseract库的新手,我在Ubuntu 12.04上设置了它。 我就是用这个数据集来被认可的。当我使用这段代码将这些图像原样(没有任何预处理)提供给tesseract时,我得到了大约70-75%的图像。准确性。 我希望准确度达到90%,所以我做了一些预处理步骤来增强图像 预处理步骤 应用底帽运算符,具有半径为 12 的圆的结构化元素 补充图像以使背景变为白色,文本变为黑色 增强所得图像的

  • 下面的代码是合法的C(用g-Wall编译干净): 但是,当我尝试使用nvcc编译此文件时,会出现以下错误: nvcc t.cu t.cu(39):警告:当重新声明未引用的函数模板时,指定默认参数是不标准的 t、 cu(39):警告:重新定义默认参数 t.cu(51):警告:重新声明未引用的函数模板时指定默认参数是不标准的 t、 cu(51):警告:重新定义默认参数 t、 cu(53):错误:模板实

  • 我有一个用例,我想我需要一些关于如何处理它的帮助。因为我是流媒体和Flink的新手,所以我会尽量描述我想要实现的目标。对不起,如果我没有使用正式和正确的语言。 我的代码将用java编写,但我不想用python编写代码,也不想用伪代码或方法编写代码。 TL: DR 在某个时间限制内对同一密钥的事件进行分组 背景: 我有来自传感器的数据,就像Kafka的数据流一样。 我需要使用eventTime,因为

  • 我的spring批处理应用程序运行在连接到MySQL数据库(单实例)的PCF平台上,只有一个实例启动时运行良好

  • 本文向大家介绍spring异步service中处理线程数限制详解,包括了spring异步service中处理线程数限制详解的使用技巧和注意事项,需要的朋友参考一下 情况简介 spring项目,controller异步调用service的方法,产生大量并发。 具体业务: 前台同时传入大量待翻译的单词,后台业务接收单词,并调用百度翻译接口翻译接收单词并将翻译结果保存到数据库,前台不需要实时返回翻译结果