Apache Spark GraphX连通分支

Question

如何使用子图函数来获得仅包含来自特定连接组件的顶点和边的图形？假设我知道连接的组件 ID，最终目标是基于连接的组件创建一个新图形。我想保留原始图形中的顶点属性。

Answer 1

我认为你的问题是，给定源图中的VertexId，创建一个新图，其中节点和边从源图连接到此VertexId。

有鉴于此，我将做以下事情：

val targetVertexId = ...
val graph = Graph(..., ...)
val newGraph = Graph(
  graph.vertices.filter{case (vid,attr) => vid == targetVertexId} ++
  graph.collectNeighbors(EdgeDirection.Either)
    .filter{ case (vid,arr) => vid == targetVertexId}
    .flatMap{ case (vid,arr) => arr},
  graph.edges
).subgraph(vpred = { case (vid,attr) => attr != null})

需要注意的几件事：

您可以根据需要将“边缘方向”更改为“EdgeDirection.In”或“边缘方向”。

末尾的 .subgraph 将删除属性设置为 null 的所有顶点。如果原始 val 图的顶点属性设置为 null，则这不起作用。否则，这有效，而无需事先知道顶点属性类型。

Answer 2

您必须将具有组件ID的图连接到原始图，根据组件ID过滤（获取子图），然后丢弃组件ID。

import scala.reflect._
import org.apache.spark.graphx._
import org.apache.spark.graphx.lib.ConnectedComponents

def getComponent[VD: ClassTag, ED: ClassTag](
    g: Graph[VD, ED], component: VertexId): Graph[VD, ED] = {
  val cc: Graph[VertexId, ED] = ConnectedComponents.run(g)
  // Join component ID to the original graph.
  val joined = g.outerJoinVertices(cc.vertices) {
    (vid, vd, cc) => (vd, cc)
  }
  // Filter by component ID.
  val filtered = joined.subgraph(vpred = {
    (vid, vdcc) => vdcc._2 == Some(component)
  })
  // Discard component IDs.
  filtered.mapVertices {
    (vid, vdcc) => vdcc._1
  }
}