当前位置: 首页 > 知识库问答 >
问题:

设置Flink应用程序与多个不同的SQL查询(聚合)

梁丘权
2023-03-14

我需要使用来自同一来源的不同列聚合构建管道,例如,一个按userId,另一个按productId,等等。我还希望有不同的颗粒度聚合,例如按小时、每天。每个聚合将有不同的接收器,例如不同的nosql表。

使用表API构建SQL查询似乎很简单。但我想减少管理太多Flink应用程序的操作开销。所以我想把所有不同的SQL查询放在一个pyflink应用程序中。

这是我第一次创建Flink应用程序。所以我不确定这是否可行。我特别想知道:

  • 阅读Flink doc,我看到了应用与工作的概念。所以我很好奇,是否每个SQL聚合查询都是一个Flink作业
  • 是否会因为一个Flink应用程序中的查询太多而导致整体性能下降
  • 由于查询共享同一个源(来自kinesis),每个查询都会获得源的副本吗。基本上,我想确保每个sql聚合查询都会处理每个事件

谢谢

共有1个答案

邹玄裳
2023-03-14

如果使用语句集,则可以将多个查询放入一个作业中:https://docs.ververica.com/user_guide/sql_development/sql_scripts.html

 类似资料:
  • 问题内容: 给定一个简单的模式,例如PurchaseOrders {OrderId,Total,LineItemCount},我想为一些简单的统计信息生成一个简单的查询,如下所示: 但是在Linq to Sql中,我正在努力将其纳入一个查询中。 目前,我有这个: 有没有一种方法可以将其作为一个查询来完成? 问题答案: 我能想到的是给它一个假的group-by子句。它可以正常工作,并能按您期望的那样

  • 重要提示:当前版本的 Photoshop、Illustrator 和 InDesign 不再提供“同步设置”功能。查看这些资源,了解如何从这些应用程序的早期版本中迁移设置: 迁移设置 Photoshop|迁移设置 InDesign | 迁移设置 同步设置功能让您可以自由地在任何地方进行工作,坚信您的工作环境始终符合您喜欢的方式。 Creative Cloud 应用程序的同步设置 若要获得有关开始使

  • 问题内容: 我正在创建一个SQL查询,该查询将基于两个聚合函数的值从表中提取记录。这些聚合函数从同一张表中提取数据,但过滤条件不同。我遇到的问题是,与仅包含一个SUM函数的情况相比,SUM的结果要大得多。我知道我可以使用临时表创建此查询,但是我只是想知道是否有一个仅需要单个查询的优雅解决方案。 我创建了一个简化版本来演示该问题。表结构如下: 这是查询: 任何见识将不胜感激。 问题答案: 编辑: 没

  • 我有桌子: 行程:Trip_Num、Trip_Type等 用户的出差历史记录:Username、Trip_Num等 我正在用php做一个项目,需要为一个特定的用户(通过他的用户名)做一个SQL查询--需要知道用户的Trips历史表中Trip_Num的Trip_Type。 附上我的表格: 更新:我需要计算trip_type中的每个值。我的意思是我想看到“步行”-4次,“自行车”-3次,这很好?...

  • 本文向大家介绍从模板设置您的第一个聚合物应用程序,包括了从模板设置您的第一个聚合物应用程序的使用技巧和注意事项,需要的朋友参考一下 示例 让我们来设置自己,以使用Polymer来构建自己的出色的渐进式Web应用程序! 在开始安装Polymer之前,您需要满足以下条件: Node.js-查看StackOverflow安装Node.js文档 Bower-您可以使用随Node.js一起安装的Node P

  • 我正在处理部署在tomcat7环境中的两个WAR应用程序(我们称它们为app1.WAR和app2.WAR)。通过setenv.sh,我将类路径扩展到位于/opt/configurations中的共享文件夹。 我想这样构造配置: