当前位置: 首页 > 知识库问答 >
问题:

错误火花流中重载的方法值createDirectStream

澹台季萌
2023-03-14
val kafkaParams: Map[String, String] =...
var topic: String = ..
val input2 = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topic.toSet)

在调用参数化版本的CreateStream时,我也会遇到类似的错误。

你知道有什么问题吗?

共有1个答案

翟源
2023-03-14

这是一条很长的消息,说明主题需要set[String],而不是set[Char]

我能看到的解决这个问题的最好方法是:

topic.map(_.toString).toSet

但是,如果您确实只有一个主题,那么只需执行set(topic),因为上面将字符串分成一组单个字符。

 类似资料:
  • 我正在尝试用空格(“”)替换daframe df_test中名为UserAgent的列中的数据中的“/”字符 列中的数据如下所示: 我试过用 但我收到错误消息: 记事本:4:错误:重载方法值regexp_replace替换为:(E:org.apache.spark.sql.column,模式:org.apache.spark.sql.column,替换:org.apache.spark.sql.c

  • 我不能用火花流运行Kafka。以下是我迄今为止采取的步骤: > 将此行添加到- Kafka版本:kafka_2.10-0.10.2.2 Jar文件版本:spark-streaming-kafka-0-8-assembly_2.10-2.2.0。罐子 Python代码: 但我仍然得到以下错误: 我做错了什么?

  • 我刚从Spark开始。我已经用Spark安装了CDH5。然而,当我尝试使用sparkcontext时,它给出了如下错误 我对此进行了研究,发现了错误:未找到:值sc 并试图启动火花上下文。/Spark-shell。它给错误

  • 有人能帮我理解这个错误背后的原因吗: 群集配置为: 数据库运行时5.5 LTS Scala 2.11 Spark 2.4.3 驱动程序:64GB内存,16核,3DBU 工人:64GB mem,16核,3DBU(2-4个工人,自动扩展) fairscheduler中定义了3个并行运行的流式查询。xml Spark配置是: 在下面添加代码流: fairScheduler示例。xml文件:

  • 每次使用cassandra connector在spark中运行scala程序时都会出现此错误 这是我的程序

  • 我在运行下面我写的SPARK代码时出错了。我试图根据键找到所有向量的总和。每个输入行以键(整数)开始,然后是127个浮点数,这是一个具有127个维度的单个向量,即每一行以键和向量开始。