掌握Spark机器学习库 01 --- 数据类型

r囧r小猫 2021-11-14 14:28 358阅读 0赞

一，Mllib的数据格式

1，本地向量

本地向量是存储在本地节点上的，其基本数据类型是Vector，其有两个子集，分别是密集的与稀疏的，我们一般使用Vectors工厂类来实现。如：

Vectors.dese(1.0,2.0,3.0)

Vectors.sparse(3,(0,1),(1,2),(2,3))

2, 标签数据

val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))

3，本地矩阵

本地矩阵是存储与单台机器上的，有整类型的row，列索引，double类型的值。Mllib支持密集矩阵，其输入值按照列column-major顺序存储在单个double数组中。稀疏矩阵是其非零值按照column-major顺序以压缩稀疏列（CSC）格式存储。

如下面的密集矩阵

![?wx\_fmt=png][wx_fmt_png]

密集矩阵的存储方式下，表现为：\[1.0, 3.0, 5.0, 2.0, 4.0, 6.0\]，矩阵大小为(3, 2)

本地矩阵的基类是Matrix，有两个实现：DenseMatrix和SparseMatrix。用工厂方法来创建本地矩阵。请记住，Mllib中的本地矩阵按照column-major的顺序存储。

import org.apache.spark.mllib.linalg.\{Matrix, Matrices\}

// Create a dense matrix ((1.0, 2.0), (3.0, 4.0), (5.0, 6.0))

val dm: Matrix = Matrices.dense(3, 2, Array(1.0, 3.0, 5.0, 2.0, 4.0, 6.0))

// Create a sparse matrix ((9.0, 0.0), (0.0, 8.0), (0.0, 6.0))

val sm: Matrix = Matrices.sparse(3, 2, Array(0, 1, 3), Array(0, 2, 1), Array(9, 6, 8))

4，分布式矩阵

一个矩阵分成多个RDD存储

一个分布式矩阵有一个long型的行，列索引，double类型的值，以一个或者多个RDD的形式分布式存储。存储巨大和分布式的矩阵需要选择一个正确的存储格式。将一个分布式矩阵转换为一个不同的格式可能需要一个全局的shuffle，代价是非常高的。目前为止，总共有四种类型的分布式矩已经被实现了。

一个RowMatrix矩阵是一个面向行的矩阵，行索引是没有意义的，比如，一个特征向量。RDD的每个行都是一个本地行向量。这里面RowMatrix假设的是列数不多，所以一个本地向量可以本传到driver端，可以轻松的被一个节点处理和存储。

一个IndexedRowMatrix跟RowMatrix很相似，但是它有一个行索引，该索引可以用于识别行并且执行joins。

CoordinateMatrix是一个以coordinate list (COO)格式存储的分布式矩阵。(row, column, value)

BlockMatrix是一个分布式矩阵，格式是(Int,Int,Matrix)。

**注意**

**分布式矩阵的底层RDD必须是确定性的，因为我们缓存矩阵大小。一般来说，使用非确定性的RDD可能会导致错误。**

5，分布式数据集

RDD DataSet Dataframe

[wx_fmt_png]: /images/20211114/de8c465cec4c448cb051ba084079ff6c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，358人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）

机器学习的定义机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的构建过程是利用数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求

た入场券/ 2023年09月30日 18:11/ 0 赞/ 25 阅读

相关机器学习（01）——机器学习简介

最近在研究机器学习，随手将学习的过程记录下来，方面自己的学习与回顾 1. 机器学习是什么？机器学习(Machine Learning，ML)是专门研究计算机怎样模拟或

谁借莪１个温暖的怀抱￠/ 2023年06月27日 06:15/ 0 赞/ 44 阅读

相关 Spark 机器学习库【MLlib】编程指南

一.机器学习库 MLlib是Spark的机器学习库【ML】。其目标是使实用的机器学习算法变得可扩展且容易使用。在较高级别，它提供了以下工具：机器学习算法：常见的

心已赠人/ 2023年02月20日 06:25/ 0 赞/ 208 阅读

相关《Spark 官方文档》机器学习库（MLlib）指南

并发编程网 - ifeve.com http://ifeve.com/spark-mllib/ 官方文档 http://spark.apache

快来打我*/ 2022年12月09日 02:35/ 0 赞/ 352 阅读

相关 Spark机器学习的数据类型（Python版）

数据类型： 1、局部向量 2、标签点 3、局部矩阵 4、分布矩阵 4.

た入场券/ 2022年09月28日 14:26/ 0 赞/ 305 阅读

相关 spark机器学习库之决策树分类

分类决策树代码 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Da

心已赠人/ 2022年06月10日 04:52/ 0 赞/ 356 阅读

相关 spark mlib 机器学习系列之二：spark mlib 基本数据类型的使用

spark mlib 基本数据类型 Local Vector 本地向量集，向spark 提供一组可操作的数据集合 Labeled point 向量标签，让用户分类不同

àì夳堔傛蜴生んèń/ 2022年05月24日 07:20/ 0 赞/ 275 阅读

相关掌握Spark机器学习库-06-基础统计部分

说明学习使用spark对数据进行描述性统计，在进行机器学习模型的训练之前，可以了解数据的总体情况本章主要讲解基础统计部分，包括基本统计、假设检验、相关系数等数

迷南。/ 2022年05月10日 19:30/ 0 赞/ 253 阅读

相关掌握Spark机器学习库 02 --- Mllib 与 ml

一，Mllib 与 ml 是spark的两个机器学习库二者区别： 1， Mllib 是采用RDD ml 使用DataFrame 2， spark官方是希望使用m

男娘i/ 2021年11月14日 14:34/ 0 赞/ 542 阅读

相关掌握Spark机器学习库 01 --- 数据类型

一，Mllib的数据格式 1，本地向量本地向量是存储在本地节点上的，其基本数据类型是Vector，其有两个子集，分别是密集的与稀疏的，我们一般使用Vectors工厂类来

r囧r小猫/ 2021年11月14日 14:28/ 0 赞/ 359 阅读