spark和graphx问题中foreach循环中的子图

Question

希望有人能帮忙。

我试图编写一个程序，它需要在Graphx上对连接到网络中每个节点的每个边缘ID执行一个函数。

graph.vertices.foreach {
  network => 
    val KeyVert = network._1
val EGraph = graph.subgraph(e => e.dstId == KeyVert)
println(KeyVert)
EGraph.edges.foreach(println)
}

但是，只有在添加collect函数从rdd中收集图形数据时，它才会起作用。

graph.vertices.collect.foreach {
  network => 
    val KeyVert = network._1
val EGraph = graph.subgraph(e => e.dstId == KeyVert)
println(KeyVert)
EGraph.edges.foreach(println)
}

网络太大，无法收集边缘数据，因此任何帮助都将非常感谢。

Answer 1

嗯...问题是你没有理解驱动程序和工作人员...当你调用collect函数时，所有的数据都被收集到驱动程序，然后foreach函数看起来工作得很好。事实上，graph.vertices.foreach没有报告任何错误，对吗？因为它真的工作得很好，只需在工人日志中打印信息。你知道我说了什么吗？希望能有所帮助。