Spark/SQL：Spark无法解析符号toDF
在我的项目中，我的外部库是spark-assembly-1.3.1-hadoop2.6.0，如果我按'.'，则IDE会通知我todf()，但是当我编码时，它会通知我不能解析符号todf()。很抱歉，我在Apache Spark文档中找不到todf()。
case class Feature(name:String, value:Double, time:String, period:String)
val RESRDD = RDD.map(tuple => {
var bson=new BasicBSONObject();
bson.put("name",name);
bson.put("value",value);
(null,bson);
})
RESRDD
.map(_._2)
.map(f => Feature(f.get("name").toString, f.get("value").toString.toDouble))
.toDF()
共有1个答案
为了能够使用TODF，您必须首先导入sqlcontext.implicits:
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
case class Foobar(foo: String, bar: Integer)
val foobarRdd = sc.parallelize(("foo", 1) :: ("bar", 2) :: ("baz", -1) :: Nil).
map { case (foo, bar) => Foobar(foo, bar) }
val foobarDf = foobarRdd.toDF
foobarDf.limit(1).show
-
代码运行，但无法获得函数、类等的建议。 谢谢
-
我正在为我的Scala Spark应用程序编写一些单元测试，为了这样做，我需要在测试中创建不同的数据流。因此，我编写了一个非常简短的DFsBuilder代码，它基本上允许我添加新行并最终创建DF。代码是： 但是，toDF方法不能使用不能解析符号toDF进行编译。 null 显然，我首先搜索了这个问题，但只发现了一些例子，其中人们忘记导入SQLContext.Implicits方法或关于case类的
-
问题内容： 我正在按照以下链接实施Firebase Messaging，以将消息发送到多个设备 https://firebase.google.com/docs/cloud-messaging/android/send- multiple#build_send_requests 我几乎完成了实现，但停留在最后阶段（构建发送请求） 在下面的代码中 我遇到了错误 也在线 当我按住Ctrl键并单击sen
-
问题内容： 我正在尝试为我的应用添加loginfacebook。但是，当我添加执行此操作所需的存储库时。它导致了错误。AndroidJUnit4现在无法解析。 ExampleInstrumentedTest.java 这是我的build：gradle（app） 问题答案： 尝试 添加以下上面的依赖项部分
-
问题内容： 在我的项目中，我遇到了一个错误： 检索项目的父项时出错：找不到与给定名称“ android：TextAppearance.Material.Widget.Button.Inverse”匹配的资源。 然后我尝试使用以下方法修复它： 但是后来我得到了错误： 无法解析符号NameValuePair android 如何解决这个错误？ 问题答案： 是已弃用并已被删除的软件包的一部分，这是您正在
-
问题内容： 我收到错误 消息“无法解析符号“ OnClickListener” 和 “无法解析符号“ V””， 我开始使用Java，因此我不太擅长此语言，并且对语言不太熟悉 我的代码： 问题答案： 我不确定您为什么要这样做，但请将初始化和侦听器移至： 只需剪切以下代码行： 并将它们粘贴到： 然后阅读编码的基础及其标准。