【数据挖掘】数据规约中维归约、小波变换、主成分分析的讲解及实战（超详细附源码）

系统管理员 2023-09-30 18:31 87阅读 0赞

> **需要源码请点赞关注收藏后评论区留言私信~~~**

## 一、数据规约 ##

数据归约（Data Reduction）用于在尽可能保持数据完整性的基础上得到数据的归约表示。也就是说，在归约后的数据集上挖掘将更有效，而且仍会产生相同或相似的分析结果

数据归约包括维归约、数量归约和数据压缩

### 1：维归约 ###

维归约的思路是减少所考虑的随机变量或属性的个数，用的方法有属性子集选择、小波变换和主成分分析

属性子集选择是一种维归约方法，其中不相关、弱相关或冗余的属性或维被检测或删除。而后两种方法是原始数据变换或投影到较小的空间。

（1）逐步向前选择 由空属性集作为规约集的起始，迭代确定原属性集中最好的属性并添加到规约集中

（2）逐步向后删除 由整个属性集开始，在每次迭代中删除尚在属性集中最差的属性

（3）逐步向前选择和逐步向后删除的组合 每一步选择一个最好的属性，并在属性中删除一个最差的属性

（4）决策树归纳 由给定的数据构造决策树，不出现在树中的所有属性假定是不相关的，出现在树中的属性形成规约后的属性子集

这些方法的约束条件可以不同，可以使用一个度量阈值决定何时终止属性选择过程

傅里叶变换-理解傅里叶变换，需要理解两个核心概念：

时域：时间和振幅的关系图，横坐标是时间，纵坐标是振幅

频域：频率和振幅的关系图，横坐标是频率，纵坐标是振幅

任何「周期(T)「函数，都可以使用」傅立叶级数展开法」将它们分解为有限或无限个不同「频率」不同「振幅」的正弦函数的叠加。傅里叶级数展开公式如下：

![bcef927f8f65492ab349cd9326cfb8e3.png][]

如果把函数看成离散点构成的向量，那么就是这些正弦函数「基向量」的线性组合

![2bde853efb2e4a1cba385091519f8616.png][]

### 2：小波变换 ###

小波变换是一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具

将图像进行小波变换并显示

![9a64ad9d4add4f7c9205244eb031f2b1.png][]

代码如下

import numpy as np
    import pywt
    import cv2 as cv
    import matplotlib.pyplot as plt
    img = cv.imread("lena.jpg")
    img = cv.resize(img, (448, 448))
    # 将多通道图像变为单通道图像
    img = cv.cvtColor(img, cv.COLOR_BGR2GRAY).astype(np.float32)
    plt.figure('二维小波一级变换')
    coeffs = pywt.dwt2(img, 'haar')
    cA, (cH, cV, cD) = coeffs
    # 将各个子图进行拼接，最后得到一张图
    AH = np.concatenate([cA, cH+255], axis=1)
    VD = np.concatenate([cV+255, cD+255], axis=1)
    img = np.concatenate([AH, VD], axis=0)
    # 显示为灰度图
    plt.axis('off')
    plt.imshow(img,'gray')
    plt.title('result')
    plt.show()

### 3：主成分分析 ###

主成分分析（Principal Component Analysis，PCA）又称Karhunen-Loeve或K-L方法，用于搜索k个最能代表数据的n维正交向量，是最常用的一种降维方法。PCA通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等，在数据压缩消除冗余和数据噪音消除等领域也有广泛的应用

PCA的主要目的是找出数据里最主要的方面代替原始数据

![9d8c519cbbd342f9901c1703202964ae.png][]

sklearn实现鸢尾花数据降维，将原来4维的数据降维为2维

降维后样本点分布如下

![7fa6b5a6bef549e48d2a330cd49879d7.png][]

import matplotlib.pyplot as plt                 
    from sklearn.decomposition import PCA
    from sklearn.datasets import load_iris
    data = load_iris()
    y = data.target
    x = data.data
    pca = PCA(n_components = 2)     
    #加载PCA算法，设置降维后主成分数目为2
    reduced_x = pca.fit_transform(x)   #对样本进行降维
    print(reduced_x)
    #在平面中画出降维后的样本点的分布
    red_x,red_y = [],[]
    blue_x,blue_y = [],[]
    green_x,green_y = [],[]
    for i in range(len(reduced_x)):
        if y[i] ==0:
            red_x.append(reduced_x[i][0])
            red_y.append(reduced_x[i][1])
        elif y[i]==1:
            blue_x.append(reduced_x[i][0])
            blue_y.append(reduced_x[i][1])
        else:
            green_x.append(reduced_x[i][0])
            green_y.append(reduced_x[i][1])
    plt.scatter(red_x,red_y,c='r',marker='x')
    plt.scatter(blue_x,blue_y,c='b',marker='D')
    plt.scatter(green_x,green_y,c='g',marker='.')
    plt.show()

### 数量规约 ###

数量归约（Numerosity Reduction）用替代的、较小的数据表示形式换原始数据。这些技术可以是参数或者非参数的。对于参数方法而言，使用模型估计数据，使得一般只需要存放模型参数而不是实际数据（离群点需存放），如回归和对数-线性模型

存放数据规约表示的非参数方法包括： 直方图、聚类、抽样和数据立方体聚类

1. 回归和对数线性模型 回归和对数模型可以用来近似给定的数据

2. 直方图 将直方图中桶的个数由观测值的数量n减少到k个，使数据变成一块一块的呈现

3. 聚类 聚类后用簇中的代表代替实际数据

4. 抽样 通过选取随机样本子集，实现小数据代表大数据的过程。抽样过程包括简单随机抽样、簇抽样和分层抽样

5. 数据立方体聚类 数据立方体是将细粒度的属性聚集到粗粒度的属性

数据压缩（Data Compression）使用变换，一遍得到原始数据的归约或“压缩”表示。如果数据可以在压缩后的数据重构，而不损失信息，则该数据归约被称为无损的。如果是近似重构原数据，称为有损的

基于小波变换的数据压缩是一种非常重要的有损压缩方法

**创作不易 觉得有帮助请点赞关注收藏~~~**

[bcef927f8f65492ab349cd9326cfb8e3.png]: https://img-blog.csdnimg.cn/bcef927f8f65492ab349cd9326cfb8e3.png
[2bde853efb2e4a1cba385091519f8616.png]: https://img-blog.csdnimg.cn/2bde853efb2e4a1cba385091519f8616.png
[9a64ad9d4add4f7c9205244eb031f2b1.png]: https://img-blog.csdnimg.cn/9a64ad9d4add4f7c9205244eb031f2b1.png
[9d8c519cbbd342f9901c1703202964ae.png]: https://img-blog.csdnimg.cn/9d8c519cbbd342f9901c1703202964ae.png
[7fa6b5a6bef549e48d2a330cd49879d7.png]: https://img-blog.csdnimg.cn/7fa6b5a6bef549e48d2a330cd49879d7.png