val kafkaParams: Map[String, String] =...
var topic: String = ..
val input2 = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topic.toSet)
在调用参数化版本的CreateStream时,我也会遇到类似的错误。
你知道有什么问题吗?
这是一条很长的消息,说明主题需要set[String]
,而不是set[Char]
。
我能看到的解决这个问题的最好方法是:
topic.map(_.toString).toSet
但是,如果您确实只有一个主题,那么只需执行set(topic)
,因为上面将字符串分成一组单个字符。
我正在尝试用空格(“”)替换daframe df_test中名为UserAgent的列中的数据中的“/”字符 列中的数据如下所示: 我试过用 但我收到错误消息: 记事本:4:错误:重载方法值regexp_replace替换为:(E:org.apache.spark.sql.column,模式:org.apache.spark.sql.column,替换:org.apache.spark.sql.c
我不能用火花流运行Kafka。以下是我迄今为止采取的步骤: > 将此行添加到- Kafka版本:kafka_2.10-0.10.2.2 Jar文件版本:spark-streaming-kafka-0-8-assembly_2.10-2.2.0。罐子 Python代码: 但我仍然得到以下错误: 我做错了什么?
我刚从Spark开始。我已经用Spark安装了CDH5。然而,当我尝试使用sparkcontext时,它给出了如下错误 我对此进行了研究,发现了错误:未找到:值sc 并试图启动火花上下文。/Spark-shell。它给错误
有人能帮我理解这个错误背后的原因吗: 群集配置为: 数据库运行时5.5 LTS Scala 2.11 Spark 2.4.3 驱动程序:64GB内存,16核,3DBU 工人:64GB mem,16核,3DBU(2-4个工人,自动扩展) fairscheduler中定义了3个并行运行的流式查询。xml Spark配置是: 在下面添加代码流: fairScheduler示例。xml文件:
每次使用cassandra connector在spark中运行scala程序时都会出现此错误 这是我的程序
我在运行下面我写的SPARK代码时出错了。我试图根据键找到所有向量的总和。每个输入行以键(整数)开始,然后是127个浮点数,这是一个具有127个维度的单个向量,即每一行以键和向量开始。