我们可以从Postgres表创建Flink数据流吗
我必须从Postgres表中读取配置并广播它，以使用它过滤主数据流。我正在使用Flink广播状态进行此操作。当我从本地套接字获取配置时，它工作得很好。
用例是在Flink作业中从Postgres读取最新配置，而无需重新启动作业。
我们可以从Postgres表创建Flink数据流吗？如果可能的话，它是否有效，因为它将永远保持JDBC连接的活性？
共有1个答案
您可以创建一个自定义JDBC源，定期从postgresql读取数据。间隔取决于配置信息的更新频率。如果数据更新周期较长，则每次从源获取配置数据时，都可以尝试释放连接。
-
如果每个事件间隔为1秒，并且有2秒的滞后，那么我希望示例输入和输出如下所示。 输入：1,2,3,4,5,6,7... 输出：NA,NA,1,2,3,4,5...
-
我有数据框中的示例数据如下 我们可以生成散点图（或任何折线图等）只有这一张唱片。 我尝试了多种方法，但我得到了 在X轴中：日期 在Y轴：两个点，一个用于Emp计数，另一个用于深度计数
-
我有一些历史数据，每条记录都有它们的时间戳。我想阅读它们并将它们输入到Kafka主题中，并使用Kafka流以时间窗口的方式处理它们。 现在的问题是，当我创建kafka流时间窗口聚合处理器时，我如何告诉kafka使用记录中的时间戳字段来创建时间窗口，而不是真正的实时时间？
-
我正在尝试查看我们是否可以使用 spark/scala 从 dataFrame 中某个列中的值创建新列。我有一个数据帧，其中包含以下数据 在上面的数据中，col1/col2/col3是列名，后跟它的值。列名和值由< code >，分隔。每组由< code>|分隔。 现在，我想做到这一点 感谢任何帮助。
-
我正在使用JPA QueryDSL从DB查询数据，这很管用。现在，我有一个用JPA QueryDSL编写的复杂的select查询，我需要使用它创建一个临时表，如下所示(POSTGRES)。 有没有人可以帮助使用JPA QueryDSL定义上面的查询。有可能用JPA查询处理DDL吗？ 您对我的问题提出的建议将不胜感激。
-
不幸的是，Kafka Flink连接器只支持-csv、json和avro格式。因此，我不得不使用较低级别的API（数据流）。 问题：如果我可以从datastream对象中创建一个表，那么我就可以接受在该表上运行的查询。它将使转换部分无缝和通用。是否可以在数据流对象上运行SQL查询？