我正在尝试使用Flink1.5.0创建一个面向批处理的Flink作业,并希望使用表和SQL API来处理数据。我的问题是尝试创建BatchTableEnviroment时遇到编译错误 我的pom依赖关系如下所示 请有人能帮助我理解流式API的依赖关系是什么,以及为什么我需要它来进行批处理作业?非常感谢您的帮助。奥利弗
通过stream API,我可以编写一个RichCoFlatMapFunction来接受一个控制流和一个数据流,控制流中包含了启动、停止或改变参数的计算元素,我知道我可以存储当前控制设置的状态,并在处理数据流时检查值。 但是用Flink SQL做类似的事情的方法是什么呢?我不能使用join,因为数据流和控制流不能连接在一起。 我们提出的解决方案是通过应用程序本身存储控件设置。其想法是: > 将控制
最近,我在使用logback.xml作为日志记录时,在独立集群模式下的Flink日志记录中遇到了一个问题。我的要求是,我的所有作业都应该登录到特定的文件夹中,我的flink框架日志应该放在单独的文件夹中,而且对于在我的flink集群中运行的每个作业,应该有单独的文件夹用于不同的作业。我在我的本地集群中测试了它,它运行良好,我得到了所有的日志,与我提交的Flink作业相关的单独文件夹,但一旦我在独立
我只是将Flink从1.10版升级到1.11版。在1.11中,Flink提供了新的特性,用户可以在Kubernetes上以应用程序模式部署作业。https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/kubernetes.html#deploy-session-cluster 在V1.10中,我们启动F
我是一个新的flink和尝试提交我的flink程序到我的flink集群。
我正在kubernetes上试用最新版本的Flink1.5的flink工作。 我的问题是如何在上面的flink集群上运行一个示例应用程序。flink示例项目提供了如何使用flink应用程序构建docker映像并将该应用程序提交给flink的信息。我遵循了这个例子,只是把flink的版本改成了最新版本。我发现应用程序(example-app)提交成功,并且在kubernetes的pod中显示,但是f
有人能给这点启示吗?
所以我在Github上看了一下项目的Flink仪表板代码,并搜索了他们用来上传一个jar和--耶!它通过调用我试图使用的rest-api(使用作为方法)来实现。在此之后,我试图通过Postman来确定使用不同的头和类型发送请求的正确方法,但现在这些方法都不适合我。 我会直接向flink项目提交一张门票,但找不到任何关于他们的门票系统的参考。 所以这里的基本问题是: null
我有一个Java应用程序午餐一个flink工作来处理Kafka流。
我正在构建一个有以下要求的应用程序,我刚刚开始使用Flink。 null null 谢谢并感激你的帮助。
我正在用Flink做一个实时项目,我需要用以前的交易丰富每一张卡的状态,以计算如下的交易特性: 对于每一张卡,我都有一个功能,可以统计过去24小时内的交易次数。另一方面,我有两个数据源: 在Flink流中使用静态数据集丰富数据流 任何帮助都是非常感激的。
Kafka主题之一和HDFS,它们都需要单独的Kerberos身份验证(因为它们属于完全不同的集群)。 我的问题是: 可能吗(如果可能,怎么可能?)在服务器上运行的Flink集群上使用来自Flink作业的两个Kerberos keytabs(一个用于Kafka,另一个用于HDFS)?(因此Flink作业可以使用Kafka主题,同时写入HDFS) 如果不可能,当Kafka和HDFS都受Kerbero
我使用flink从文件中读取数据并将其转换为流,然后处理该流,但是当我从文件中读取数据并将其转换为流时,这样形成的数据流中的内容与文件中的数据顺序不是一个顺序。根据我的要求,文件和流中数据的顺序很重要。有人能帮我吗?谢谢
当我运行flink时,java中的scala REPL脚本无法编译。