关于Flink与Kafka流媒体的问题
我有一个Java应用程序午餐一个flink工作来处理Kafka流。
共有1个答案
据我所知，目前还没有很好的编程方法来控制Flink。但是，由于Flink是用Java编写的，所以可以使用控制台执行的所有操作都可以使用内部类org.apache.Flink.client.clifrontend来完成，它由控制台脚本调用。
另一种方法是使用Flink JobManager的REST API。
-
问题内容： 我正在使用Maven 我添加了以下依赖项 我还在代码中添加了jar 它完全可以正常工作，没有任何错误，在通过spark-submit提交时出现以下错误，非常感谢您的帮助。谢谢你的时间。 线程“主要” java.lang.NoClassDefFoundError中的异常：sun.reflect处的KafkaSparkStreaming.sparkStreamingTest（KafkaSp
-
它没有任何错误，我得到以下错误时，我运行火花提交，任何帮助都非常感谢。谢谢你抽出时间。 线程“main”java.lang.noClassDeffounderror：org/apache/spark/streaming/kafka/kafkautils在kafkasparkstreaming.sparkstreamingtest(kafkasparkstreaming.java:40)在kafka
-
Flink版本：1.2.0 Scala版本：2.11.8 我想使用一个数据流来预测使用scala在flink中的模型。我在flink中有一个使用scala的DataStream[String]，其中包含来自kafka源的json格式的数据。我想用这个数据流来预测已经训练过的Flink ml模型。问题是所有flink ml示例都使用DataSet api进行预测。我对flink和scala比较陌生，
-
我正在读这篇博文： http://blog.jaceklaskowski.pl/2015/07/20/real-time-data-processing-using-apache-kafka-and-spark-streaming.html 它讨论了如何使用Spark Streaming和Apache Kafka进行一些近实时处理。我完全理解这篇文章。它确实展示了我如何使用Spark Stream
-
为什么以及何时会选择将Spark流媒体与Kafka结合使用？ 假设我有一个系统通过Kafka每秒接收数千条消息。我需要对这些消息应用一些实时分析，并将结果存储在数据库中。 我有两个选择： > < li> 创建我自己的worker，该worker从Kafka读取消息，运行分析算法并将结果存储在DB中。在Docker时代，只需使用scale命令就可以轻松地在我的整个集群中扩展这个工作线程。我只需要确保
-
我有一个用于结构化流媒体的Kafka和Spark应用程序。特别是我的KafkaProducer具有以下配置： 然后我创建了一个ProducerRecord，如下所示： 其中，json。toString（）表示一个JSON格式的字符串，这是我想在Spark中处理的值。现在，我主要做的是将Spark与Kafka主题联系起来，正如官方Spark结构化流媒体指南中所报道的那样： 然后 我有以下输出和异常：