Apache Spark中的矩阵乘法

Question

我正在尝试使用Apache Spark和Java执行矩阵乘法。

我有两个主要问题：

1. 如何创建可以表示Apache Spark中矩阵的RDD？
2. 如何将两个这样的RDD相乘？

Answer 1

所有这些都取决于输入数据和维度，但总的来说，您需要的不是RDD的分布式数据结构之一org.apache.spark.mllib.linalg.distributed。目前，它提供了四种不同的实现DistributedMatrix

• IndexedRowMatrix-可以直接从被创建RDD[IndexedRow]，其中IndexedRow由行索引和org.apache.spark.mllib.linalg.Vector

  import org.apache.spark.mllib.linalg.{Vectors, Matrices}
  

  import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix,
  IndexedRow}
  

  val rows = sc.parallelize(Seq(
  (0L, Array(1.0, 0.0, 0.0)),
  (0L, Array(0.0, 1.0, 0.0)),
  (0L, Array(0.0, 0.0, 1.0)))
  ).map{case (i, xs) => IndexedRow(i, Vectors.dense(xs))}
  
  

  val indexedRowMatrix = new IndexedRowMatrix(rows)

• RowMatrix-类似于IndexedRowMatrix但没有有意义的行索引。可以直接从创建RDD[org.apache.spark.mllib.linalg.Vector]

  import org.apache.spark.mllib.linalg.distributed.RowMatrix
  

  val rowMatrix = new RowMatrix(rows.map(_.vector))

• BlockMatrix-可以从RDD[((Int, Int), Matrix)]其中元组的第一个元素包含块的坐标而第二个元素是局部坐标的位置创建org.apache.spark.mllib.linalg.Matrix

  val eye = Matrices.sparse(
  

  3, 3, Array(0, 1, 2, 3), Array(0, 1, 2), Array(1, 1, 1))

  val blocks = sc.parallelize(Seq(
  ((0, 0), eye), ((1, 1), eye), ((2, 2), eye)))

  val blockMatrix = new BlockMatrix(blocks, 3, 3, 9, 9)

• CoordinateMatrix-可以从被创建RDD[MatrixEntry]，其中MatrixEntry由行，列和价值。

  import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix,
  

  MatrixEntry}

  val entries = sc.parallelize(Seq(
  (0, 0, 3.0), (2, 0, -5.0), (3, 2, 1.0),
  (4, 1, 6.0), (6, 2, 2.0), (8, 1, 4.0))
  ).map{case (i, j, v) => MatrixEntry(i, j, v)}

  val coordinateMatrix = new CoordinateMatrix(entries, 9, 3)

前两个实现支持通过本地乘法Matrix：

val localMatrix = Matrices.dense(3, 2, Array(1.0, 2.0, 3.0, 4.0, 5.0, 6.0))

indexedRowMatrix.multiply(localMatrix).rows.collect
// Array(IndexedRow(0,[1.0,4.0]), IndexedRow(0,[2.0,5.0]),
//   IndexedRow(0,[3.0,6.0]))

BlockMatrix只要该矩阵中每个块的列数与另一个矩阵中每个块的行数匹配，就可以将第三个乘以另一个。CoordinateMatrix不支持乘法，但是很容易创建并将其转换为其他类型的分布式矩阵：

blockMatrix.multiply(coordinateMatrix.toBlockMatrix(3, 3))

每种类型都有其自身的优缺点，当您使用稀疏或密集元素（Vectors或块Matrices）时，还需要考虑一些其他因素。通常最好将其乘以局部矩阵，因为它不需要昂贵的改组。

您可以在《 MLlib数据类型》指南中找到有关每种类型的更多详细信息。