下面是目前为止我所想到的伪代码。任何帮助都将不胜感激!谢谢! 我检查了Table API,但对于流,似乎不支持很多操作,例如OrderBy。
我想做的是对每个窗口批处理的每个分区应用一个通用函数,也许应用一个复杂的处理算法或类似的东西。我已经在DataStream API中看到了该方法的应用,但我不理解它是如何工作的。在Flink API中,它说它的用法与Scala中的用法相同: 有人能解释一下apply方法是做什么的或者是如何使用的吗?Scala中的示例会更好。apply方法是否符合我的要求?
null 我浏览了完整的flink仪表板,但我没有得到任何线索,如何检查是增量检查点正在发生还是完全检查点正在发生。请帮助我如何设置RocksDB的日志记录来了解增量检查点是否正在发生。我在文档中看到RocksDB日志记录会在性能和存储方面造成巨大的成本,这是为了测试目的,之后我将禁用它
我是刚接触flink的,我正在尝试编写junit测试用例来测试KeyedBroadcastProcessFunction。下面是我的代码,我当前正在调用TestUtils类中的getDataStreamOutput方法,并在输入数据根据模式规则列表求值后将inputdata和patternrules传递给方法,如果输入数据满足条件,我将获得信号并调用sink函数,并在getDataStreamOu
对于初学者,我希望将所有输入数据流转换为KeyedStreams。因此,我将输入数据流映射为一个元组,然后应用KeyBy将其转换为KeyStream。 我总是遇到序列化的问题,我试着按照本指南https://ci.apache.org/projects/flink/flink-docs-stable/dev/java_lambdas.html操作,但没有成功。 我想知道的是: null 测试类 错
进入Flink作业的数据可能会由于代码中的bug或缺乏验证而触发异常。我的目标是提供一致的异常处理方式,我们的团队可以在Flink作业中使用,不会导致任何生产停机。 > 重新启动策略在这里似乎不适用,因为: null null 示例代码: 我想有能力跳过在“keyby”和类似的方法中导致问题的处理,这些方法应该返回一个结果。
我有一个瞬移工作,接受Kafka的主题,通过一堆操作员。我想知道什么是最好的方法来处理中间发生的异常。 假设存在异常,使用并在catch块中输出到,并在调用外部服务以更新另一个相关作业状态的末尾为提供单独的接收器函数 但是,我的问题是,通过这样做,我似乎仍然需要调用并传入一个空值,以便继续到下面的运算符并进入最后一个阶段,在这个阶段,将流入单独的接收器函数。这样做对吗? 另外,我不确定如果不在操作
我似乎混淆了逻辑和物理数据分区。
我有一个用例,其中,我正在通过运行在EMR上的flink作业(使用flink-kinesis连接器)从kinesis流中消费事件。作业接收事件,处理它并将其接收到某个数据存储。通过处理,这里我的意思是应用一些转换(数据充实)并做聚合。我在这里有几个问题: > 如何在消耗Kinesis事件的同时保持幂等性?我想只做一次处理,因为在聚合值时,重复项可能会给出错误的结果。我能想到的一种方法是在事件中维护
PS:我们可以将flink状态存储在dynamoDB中,并在那里创建一个API吗?还是以任何其他方式坚持和向外部世界揭露国家?
我有一个Flink应用程序在Amazon的Kinesis数据分析服务(托管Flink集群)中运行。在应用程序中,我从Kinesis流keyBy userId读取用户数据,然后聚合一些用户信息。问了这个问题之后,我了解到Flink会在集群中跨物理主机拆分一个流的读取。然后Flink将传入事件转发给主机,该主机将聚合器任务分配给对应于给定事件的密钥空间。 考虑到这一点,我试图决定使用什么作为我的Fli
我在flink中有两个nifi流源,我需要对这两个源执行连接。哪种方法更好?它是数据流提供的联接api还是表api(https://ci.apache.org/projects/flink/flink-docs-release-1.5/dev/table/streaming.html#streaming-concepts)?
我尝试使用flink sql窗口API:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/table_api.html#group-windows
如果每个事件间隔为1秒,并且有2秒的滞后,那么我希望示例输入和输出如下所示。 输入:1,2,3,4,5,6,7... 输出:NA,NA,1,2,3,4,5...
使用fromElements函数创建数据流时出错 下面是探险- 原因:java.io.IOException:无法从源反序列化元素。如果您使用的是用户定义的序列化(值和可写类型),请检查序列化函数。序列化程序是org.apache.flink.api.java.typeutils.runtime.kryo.kryoSerializer@599fcdda在org.apache.flink.strea