Apache Spark 中的矩阵乘法 [已关闭]

java scala apache-spark rdd apache-spark-mllib

2022-09-02 00:26:36

我正在尝试使用Apache Spark和Java执行矩阵乘法。

我有2个主要问题：

如何创建可以在Apache Spark中表示矩阵的RDD？
如何将两个这样的RDD相乘？

答案 1

一切都取决于输入数据和维度，但一般来说，你想要的不是来自org.apache.spark.mllib.linalg.distributed的分布式数据结构之一。目前，它提供了分布式矩阵的四种不同实现。RDD

IndexedRowMatrix - 可以直接从一个 IndexedRow 创建，其中 IndexedRow 由行索引和RDD[IndexedRow]org.apache.spark.mllib.linalg.Vector

import org.apache.spark.mllib.linalg.{Vectors, Matrices}
import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix,
  IndexedRow}

val rows =  sc.parallelize(Seq(
  (0L, Array(1.0, 0.0, 0.0)),
  (0L, Array(0.0, 1.0, 0.0)),
  (0L, Array(0.0, 0.0, 1.0)))
).map{case (i, xs) => IndexedRow(i, Vectors.dense(xs))}

val indexedRowMatrix = new IndexedRowMatrix(rows)

RowMatrix - 类似于但没有有意义的行索引。可以直接从IndexedRowMatrixRDD[org.apache.spark.mllib.linalg.Vector]
```
import org.apache.spark.mllib.linalg.distributed.RowMatrix

val rowMatrix = new RowMatrix(rows.map(_.vector))      
```

BlockMatrix - 可以从元组的第一个元素包含块的坐标，第二个元素是本地元素的地方创建RDD[((Int, Int), Matrix)]org.apache.spark.mllib.linalg.Matrix

val eye = Matrices.sparse(
  3, 3, Array(0, 1, 2, 3), Array(0, 1, 2), Array(1, 1, 1))

val blocks = sc.parallelize(Seq(
   ((0, 0), eye), ((1, 1), eye), ((2, 2), eye)))

val blockMatrix = new BlockMatrix(blocks, 3, 3, 9, 9)

CoordinateMatrix - 可以从MatrixEntry由行，列和值组成的位置创建。RDD[MatrixEntry]

import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix,
  MatrixEntry}

val entries = sc.parallelize(Seq(
   (0, 0, 3.0), (2, 0, -5.0), (3, 2, 1.0),
   (4, 1, 6.0), (6, 2, 2.0), (8, 1, 4.0))
).map{case (i, j, v) => MatrixEntry(i, j, v)}

val coordinateMatrix = new CoordinateMatrix(entries, 9, 3)

前两个实现支持乘以局部：Matrix

val localMatrix = Matrices.dense(3, 2, Array(1.0, 2.0, 3.0, 4.0, 5.0, 6.0))

indexedRowMatrix.multiply(localMatrix).rows.collect
// Array(IndexedRow(0,[1.0,4.0]), IndexedRow(0,[2.0,5.0]),
//   IndexedRow(0,[3.0,6.0]))

第三个矩阵可以乘以另一个，只要此矩阵中每个块的列数与另一个矩阵的每个块的行数匹配即可。不支持乘法，但很容易创建并转换为其他类型的分布式矩阵：BlockMatrixCoordinateMatrix

blockMatrix.multiply(coordinateMatrix.toBlockMatrix(3, 3))

每种类型都有自己的优点和缺点，当您使用稀疏或密集元素（或块）时，还需要考虑一些其他因素。乘以局部矩阵通常是可取的，因为它不需要昂贵的洗牌。VectorsMatrices

您可以在 MLlib 数据类型指南中找到有关每种类型的更多详细信息。

答案 2