《flink》专题
-
flink 如何与 MySQL 交互以进行与 mysql 的临时连接
我正在阅读 https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/joins/#lookup-join， 它使用MySQL作为临时表联接中的查找表 我想知道flink如何与MySQL交互，以及mysql方面是否存在临时加入mysql的性能问题。 基本问题是flink如何使用my
-
为什么flink会停止我的流应用？
我的代码使用readTextFile读取日志文件，当我在Flink(< code >/opt/Flink-1 . 0 . 3/bin/Flink run-m yarn-cluster-yn 2/home/Flink/Flink-JSON-0.1 . jar )中运行jar时，它成功处理了里面的行，并停止了我的应用程序，而不是等待新的行。我做这件事需要一些参数吗？ 先谢谢你了
-
Apache Flink：未触发流加入窗口
我正在尝试加入apache flink中的两个流以获得一些结果。 我的项目的当前状态是，我正在获取twitter数据并将其映射到一个2元组中，其中保存用户的语言和定义时间窗口中的推文总和。我这样做是为了每种语言的推文数量和每种语言的转发。推文/转发聚合在其他进程中运行良好。 我现在想得到一个时间窗口内转发次数占所有推文次数的百分比。 因此我使用以下代码： 当我打印或时，输出似乎很好。我的问题是我从
-
Flink-事件时间滑动窗口，由于时间间隔，窗口中缺少数据
假设我有一个股票市场交易事件流，如下所示： 使得technicalN（其中N是一些数字）代表给定公司的日终股票市场交易数据的第N个技术交易条目[开盘（浮动）、高位（浮动）、低位（浮动）、收盘（浮动）、成交量（int）]。（即ticker GOOG的技术1不同于ticker MSFT的技术1。）如： （请注意，这些交易价格/交易量完全是虚构的。 假设我想创建一个大小为2、时间间隔为1天的窗口，这样我
-
如何使用Apache Flink DataStream API输出事件对的流？
鞋子（事件）被定义为它的颜色并且是（如果鞋子是左腿的，那么，否则是的）。 如何形成一双相同颜色的鞋，并期望匹配的鞋立即发出，不匹配的鞋等待其配对，直到窗口结束。 尝试的方法（忽略此项以避免混淆）： > 通过将流拆分为左和右，并在连接上加窗（会产生成本吗？） > TumblingWindowJoin：窗口函数不能处理不匹配的对。窗户开过后，那只鞋就丢了。 CoGroupFunction:窗口不会为最
-
Flink： ProcessWindow函数
我最近在Flink的新版本中学习。它表示支持全局状态和窗口状态。我使用Scala API进行了尝试。到目前为止，我可以让全球状态运转起来，但我没有任何运气让它成为窗口状态。我要做的是处理系统日志，并统计由主机名和严重性级别键入的日志数。我想计算两个相邻窗口之间日志计数的差异。下面是我实现的代码。 我总是从窗口状态中得到0值，而不是以前应该更新的计数。我已经为这个问题挣扎了几天。有人能帮我弄清楚吗？
-
Flink：找不到合适的工艺方法
我试图在Flink的数据流上应用每窗口功能。以下是我的代码 下面是我的实现MyProcessWindow函数 然而，当我试图通过maven编译上述代码时，我得到了以下错误 知道我做错了什么吗？仅供参考，我正在使用ApacheFlink 1.5.1版，并在Mac上使用maven3编译Java代码。
-
Flink流文件接收器无法从失败中恢复
我们有一个flink流媒体作业，它从kafka读取数据，并将其放入S3。我们使用flink的内部流文件接收器API来实现这一点。然而，几天后，作业失败，无法从失败中恢复。消息称它无法从s3中找到tmp文件。我们想知道可能的根本原因是什么，因为我们真的不想丢失任何数据。 谢谢。 整个输出如下所示
-
如何在Apache Flink中使用BucketingSink写入ORC文件？
我正在开发一个Flink流媒体程序，可以读取Kafka消息，并将消息转储到AWS s3上的ORC文件中。我发现没有关于Flink的BucketingSink和ORC file writer整合的文件。BucketingSink中没有这样的ORC文件编写器实现。 我被困在这里了，有什么想法吗？
-
Flink流媒体程序可以在流转时长下正确运行，但不会在事件时间内产生结果
更新添加了
-
我想在ApacheFlink中做流媒体工作，做Kafka->Flink->HIVE
我想在Apache Flink中做流媒体工作来做Kafka- 这应该是流式处理。
-
Flinkkafka消费者/制作人
大家好，我正在努力将一个简单的avro模式与模式注册表一起序列化。 设置： 两个用java编写的Flink jobs（一个消费者，一个生产者） 目标：生产者应该发送一条用ConfluentRegistryAvroSerializationSchema序列化的消息，其中包括更新和验证模式。 然后，使用者应将消息反序列化为具有接收到的模式的对象。使用。 到目前为止还不错：如果我将架构注册表上的主题配置
-
Flink流媒体Twitter示例不起作用
我正在尝试运行官方示例，该示例展示了如何使用Apache Flink Streaming与Twitter：https://github.com/apache/flink/tree/master/flink-streaming-examples/src/main/java/org/apache/flink/streaming/examples/twitter 如果我不提供到属性的路径。文件，推特流数
-
TimeoutException：当我试图从kafka读到flink时，在确定分区位置之前，超时60000ms已过期
我试图从Kafka中的一个主题读取记录，该主题是由Kafka connect jdbc源连接器生成的，下面是连接器配置：
-
连接到合流平台架构注册表失败-Apache FlinkSQL合流Avro格式
我正在使用Confluent managed Kafka cluster、模式注册表服务，并试图在Flink作业中处理Debezium消息。作业已配置为使用表 表连接器配置 错误消息 我通过以下方式成功测试了与架构注册表的连接： 错误消息“io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException:Una