当前位置: 首页 > 知识库问答 >
问题:

Apache Flink生产集群详细信息

楚和悌
2023-03-14

我是Flink的新手。如何了解flink的生产集群要求。以及如何确定纱线集群模式下每个作业执行的作业内存、任务内存和任务槽。例如,我每天必须使用datastream处理大约6-7亿条记录,因为这是一个实时数据。

共有1个答案

乐正浩宕
2023-03-14

这些问题没有万能的答案;这取决于。这取决于您对这些事件所做的处理类型,是否需要访问外部资源/服务来处理它们,您需要保持多少状态以及该状态的访问和更新模式,您将检查点的频率,您选择的状态后端,等等。您需要做一些实验和测量。

请参阅如何调整Apache Flink®群集的大小:信封背面的计算,以深入介绍此主题。https://www.youtube.com/watch?v=8l8dCKMMWkw这也很有帮助。

 类似资料:
  • 我在prestashop 1.7中创建一个自定义模块。在该模块中,我想在产品详细信息页面中显示一些自定义内容块。所以自定义内容应该只显示在产品详情页中。我用过这些钩子,但它们不再工作了。 胡克特莱特酒店 这些挂钩仅适用于Prestashop 1.6。在Prestashop 1.7中可以使用哪些挂钩?

  • 我们应该如何从kafka集群/动物园管理员处检索所有代理(已连接/已断开连接)的完整详细信息? 我发现以下方法只获取活动代理,但我想知道以前在集群中服务的代理的IP地址,但它现在已断开连接 以下代码片段给出了活动代理的列表: 输出: 我的机器-1:端口 我的机器-2:端口 我的机器-3:端口 我的机器-4:端口 我需要多节点 kafka 集群中所有已连接/已断开连接的代理的信息

  • 本文向大家介绍docker安装ElasticSearch:7.8.0集群的详细教程,包括了docker安装ElasticSearch:7.8.0集群的详细教程的使用技巧和注意事项,需要的朋友参考一下 ElasticSearch集群支持动态请求的方式搭建集群和静态配置文件搭建集群 关于集群的动态连接方式官方的文档:https://www.elastic.co/guide/en/elasticsear

  • 目前EMQ在生态云提供服务的区域和Endpoint如下: AWS-北京 http://awsbj0.emq.api.xiaomi.com 或 https://awsbj0.emq.api.xiaomi.com AWS-Oregon http://awsusor0.emq.api.xiaomi.com 或 https://awsusor0.emq.api.xiaomi.com 金山云-北京6

  • Talos集群以及Service URI AWS-北京 http://awsbj0.talos.api.xiaomi.com https://awsbj0.talos.api.xiaomi.com 金山云-北京6 http://cnbj2.talos.api.xiaomi.com https://cnbj2.talos.api.xiaomi.com AWS-Oregon http://awsuso

  • 主集群 Region endpoint 内网endpoint 控制台名称 cnbj0(不再接受新业务) cnbj0.sds.api.xiaomi.com cnbj0-internal.sds.api.xiaomi.com NA cnbj2 cnbj2.sds.api.xiaomi.com NA 北京-金山云 awsbj0 awsbj0.sds.api.xiaomi.com awsbj0-eco-s