如何解决AnalysisException：Spark中已解决的属性
val rdd = sc.parallelize(Seq(("vskp", Array(2.0, 1.0, 2.1, 5.4)),("hyd",Array(1.5, 0.5, 0.9, 3.7)),("hyd", Array(1.5, 0.5, 0.9, 3.2)),("tvm", Array(8.0, 2.9, 9.1, 2.5))))
val df1= rdd.toDF("id", "vals")
val rdd1 = sc.parallelize(Seq(("vskp","ap"),("hyd","tel"),("bglr","kkt")))
val df2 = rdd1.toDF("id", "state")
val df3 = df1.join(df2,df1("id")===df2("id"),"left")
联接操作可以正常工作，但是当我重用df2时，我面临着无法解析的属性错误
val rdd2 = sc.parallelize(Seq(("vskp", "Y"),("hyd", "N"),("hyd", "N"),("tvm", "Y")))
val df4 = rdd2.toDF("id","existance")
val df5 = df4.join(df2,df4("id")===df2("id"),"left")
问题答案：
正如我在评论中提及，它关系到https://issues.apache.org/jira/browse/SPARK-10925，更具体地说https://issues.apache.org/jira/browse/SPARK-14948。重用引用会在命名方面造成歧义，因此您必须克隆df-
例如，请参阅https://issues.apache.org/jira/browse/SPARK-14948中的最后一条注释。
-
问题解决了在这种环境下
-
我试图读取xlsx格式的excel文件。但是我得到的结果太大，无效的句柄异常。我把文件实例在一个FileInputStream对象，并试图在XSSFWorkbook中设置该对象。但是我得到了这个例外。 我工作的环境中没有安装Microsoft office，并且有开放式office。我没有在open office中编辑我的xlsx文件。但我在open office中打开了文件，然后尝试运行poi代
-
问题内容： 我正在尝试编写简单的Java代码，以在控制台上显示MongoDB集合。我在类路径中添加了mongodb-driver-3.0.0.jar。 但是，当我尝试执行代码时，它在数据库连接行给了我以下错误： 线程“主”中的异常java.lang.NoClassDefFoundError：com.montan.app.MongoDbJdbc.main（MongoDbJdbc.java:12）上的
-
问题内容： 我试图通过我的Web项目上的applet访问客户端的临时目录。 当我自己运行小程序时，它毫无问题地得到了。 当我尝试使用javascript并调用applet方法在我的项目上获取它时，我在javascript控制台上运行。当我尝试读取temp目录下的文件时，我也遇到同样的异常。 这正是我所看到的： 怎么解决？ 问题答案： 最简单的解决方案是对applet进行签名。
-
问题内容： 我已经尝试了Oracle Java教程中的两个示例。它们都可以正常编译，但是在运行时都出现以下错误： 我想我可能将Main.java文件放在错误的文件夹中。这是目录层次结构： 这里是 我在这里做错了什么？ 更新 将Main类放入graphics包中（添加package graphics;到其中）后，将类路径设置为“ _test”（包含图形的文件夹），进行编译，然后使用java grap
-
问题内容： 我有2个函数，都返回诺言： 现在，我有了一个清单，在这两个诺言得到解决后，我想立即更新 已解决的主题应如下所示 问题答案： 创建一个承诺，当您通过的所有承诺均被拒绝或 任何 拒绝时，该承诺都会自动解决。 如果像您一样将其传递给数组，则处理成功解析的函数将收到一个数组，其中每个项目都是针对相同索引的诺言的分辨率，例如： 我个人认为传递对象更具可读性，这样您就可以在处理程序中获得一个对象，