我可以在同一个Flink作业中使用DataSet API和DataStream API吗？
我正在使用Flink流读取来自Kafka的数据，并对数据进行处理。在使用Kafka之前，当应用程序启动时，我需要使用DataSet API读取一个文件，并根据一些条件对文件进行排序，然后从中创建一个列表。然后开始以流媒体的方式从Kafka那里消费。我已经编写了一个逻辑，使用DataSet API从文件中读取数据并对其进行排序。但当我尝试调谐程序，它从来没有执行，闪烁立即开始消耗Kafka。有没有办法我可以先处理数据集然后在Flink中流式传输？
共有1个答案
不，不能混合DataSet和DataStreamAPI。但是，您可以从相同的main()方法启动这两个程序，但必须将数据集程序的排序结果写入由数据流程序使用的文件中。
-
我需要在MongoDB上编写一些复杂的查询和一些简单的查询。我可以将MongoRepository用于简单查询，将MongoTemplate与查询或条件一起用于复杂查询实现相同的应用程序吗。 在相同的应用程序中同时使用MongoTemplate和MongoRepositories，这是一个好的设计吗。这种方法有什么缺点吗。 还有，编写包含大量谓词的复杂查询的最佳方法是什么，这些谓词涉及and、or
-
我可以同时运行我的作业步骤，但我有点担心，如果我用不同的参数同时启动同一作业的多个实例，它将如何工作。 我正在使用importExchange作业导入Exchange数据，但如果我同时为不同的市场如美国市场、欧洲marktet启动importExchange作业。 Partitioner将输入exchange名称分区到不同的分区步骤执行上下文中，MessagePartitionHandler将st
-
我正在尝试将使用SSIS包创建的数百个feed文件ETL作业替换为apache flink作业（并将kuberentes作为底层infra）的可行性。我在一些文章中看到的一条建议是“为一种工作使用一个flink集群”。 由于我每天都有少量的每种工作类型的工作，那么这意味着对我来说最好的方法是在执行工作时动态创建flinkcluster并销毁它以释放资源，这是正确的方法吗？我正在建立flinkclu
-
问题内容： 我可以在同一输出流上同时使用PrintWriter和BufferedOutputStream吗？ 情况是这样的： 我有一个SSLSocket程序，我希望能够在不同的时间点轻松地在套接字上同时传输字符串和字节[]，而不必将byte []转换为字符串等，但是，PrintWriter仅允许我传输字符串和BufferedOutputStream只允许我传输字节。 问题答案： PrintWrit
-
几天来，我一直在探索Apache Flink，我对任务槽的概念有些怀疑。虽然有人问了几个问题，但有一点我不明白。 我正在使用一个toy应用程序进行测试，运行一个本地集群。我已禁用操作员链接 我从文档中知道插槽允许内存隔离而不是CPU隔离。阅读文档，任务槽似乎是一个Java线程。 1）当我以并行度=1部署我的应用程序时，所有运算符的子任务都部署在同一个插槽中。但是，如果我从的方法打印当前线程ID，我
-
问题内容： 我想计算mysql表中的行数，而不要包含重复的条目， 我可以用吗？ 问题答案： 当然。