具有多个属性的火花图x顶点(类型不匹配-具有可串行化错误的产品)

Question

我想做的是：我将Spark 2.3.0与graph x一起使用。我有一个类似于菜单结构的简单DF，如下所示：菜单结构。当我使用以下代码创建一个具有三个顶点属性（Int、String、String）的图形来创建顶点RDD时，它工作得非常好：

val menuVerticesRDD: RDD[(VertexId, (Int,String,String))] = menuVertexDF
.rdd
.map{row: Row => (row.get(0), row.get(1), row.get(2))}
.map{x => (MurmurHash3.stringHash(x._1.toString).toLong, 
( x._1.asInstanceOf[Int], x._2.asInstanceOf[String], x._3.asInstanceOf[String] ))}

然后，我使用下面的代码对四个属性(Int、String、String、String)进行完全相同的尝试:

val menuVerticesRDD: RDD[(VertexId, (Int,String,String,String))] = menuVertexDF
.rdd
.map{row: Row => (row.get(0), row.get(1), row.get(2), row.get(3))}
.map{x => (MurmurHash3.stringHash(x._1.toString).toLong, (  x._1.asInstanceOf[Int], x._2.asInstanceOf[String], x._3.asInstanceOf[String], x._4.asInstanceOf[String] ))

...然后抛出类型不匹配错误:

Name: Compile Error
Message: <console>:153: error: type mismatch;
found   : org.apache.spark.rdd.RDD[(org.apache.spark.graphx.VertexId, (Int,     String, String, String))]
(which expands to)  org.apache.spark.rdd.RDD[(Long, (Int, String, String, String))]
required: org.apache.spark.rdd.RDD[(org.apache.spark.graphx.VertexId, Product with Serializable)]
(which expands to)  org.apache.spark.rdd.RDD[(Long, Product with Serializable)]

到目前为止，我尝试过：

< li >我查了graphx API docs @ https://spark . Apache . org/docs/latest/API/Scala/index . html # org . Apache . spark . graphx . vertex rdd，但是在我看来添加无限量的属性应该没有问题，只要你把它们包装在一个元组中。 < li >我尝试在元组前添加< code>Seq()或< code>flatMap()但没有成功 < li >我尝试在网上查找具有三个以上顶点属性的图形示例，但似乎没有任何示例 < li >我尝试使用SQL从起始DF中排除任何空值

所以是的，我基本上已经到了我觉得自己完全是个砖头的地步。我觉得我忽略了一些非常简单的东西，但是在玩了将近一天和研究之后，现在任何帮助都将不胜感激。谢谢！

Answer 1

我想你做得很好，但错过了传递默认元组。以下列方式初始化您的图形。

val graph = Graph(menuVerticesRDD, menuEdgesRDD, (0, "NONE", "NONE", "NONE"))

第三个参数是defaultVertexAttr，它应该符合顶点的数据类型。