PCA(主成分分析)算法

Love The Way You Lie 2022-12-10 07:19 339阅读 0赞

因为对PCA算法的好奇，所以就写一篇笔记记录一下自己学习的过程。

### 文章目录 ###

*  一、简介
 *  二、代码实现
 *   *  2.1 实现步骤：
     *  2.2实现代码
 *  三、小结

# 一、简介 #

> 在现实生活中，我们人类总会存在一种这样的习惯：关注自己所关心的，与此同时会忽略掉自己所不关心的事情。就像看一场足球比赛一样，我们面对的显示屏幕包含了几十万个像素，那么这其中的人或者球只占了其中的一部分，那么我们自然而然的会对我们的屏幕中的像素进行降维处理，只关注其中的人和球的像素就可以了。不过即使仅仅只面对人和球的像素，我们仍然还有很多信息要进行处理，但是正如AI教父Hinton所说的那样：“人也是机器，绝妙的机器”，我们的大脑采用了一种更为有效的方式来处理这些数据，也就是将其转换为一个三维图像。在这个过程中，我们就已经将显示屏中的几十万个维度最终转换为一个三维数据。当然转换的前提肯定是数据之间具有一定的相关性，这才能让我们实现这个转换过程，这也就是我们经常会提到的数据降维。

> PCA算法就是一种很典型的一种降维方法，在PCA中，其将数据从原来的坐标系转换到了新的坐标系下，在这个转换过程中，我们就需要为原始数据构建一个超平面。那么这个超平面就需要有下面这两个性质：  
> 1、最近重构性：也就是样本点到这个超平面的距离足够近。  
> 2、最大可分性：样本点在这个超平面上的投影能尽可能的分开。

如果想深入了解这两个性质，可以去查找《机器学习》、《【机器学习】【白板推导系列】》视频等相关资料进行学习。

# 二、代码实现 #

## 2.1 实现步骤： ##

> 1、对所有样本进行中心化，其实也就是将原始样本减去其质心 x ˉ \\bar\{x\} xˉ进行平移。  
> 2、计算样本的协方差矩阵 C o v Cov Cov( 1 m X X T \\frac\{1\}\{m\}XX^T m1XXT)。  
> 3、对协方差矩阵 C o v Cov Cov进行特征值分解，并按照特征值从大到小排序，取前 k k k个特征值所对应的特征向量组成低维超平面。

## 2.2实现代码 ##

#-*- coding=utf-8 -*-
    #@Time : 2020/9/24 20:30
    #@File : PCA.py
    #@Software : PyCharm
    
    from numpy import *
    from tkinter import filedialog
    import matplotlib.pyplot as plt
    
    """ 函数说明：加载数据集 """
    def loadDataSet(delim='\t'):
        dlg = filedialog.askopenfile(title='打开文件', filetypes=[("文本文件", "*.txt"), ('Python源文件', '*.py')])
        fileName = dlg.name  # 获取数据文件路径
        fr = open(fileName)
        stringArr = [line.strip().split(delim) for line in fr.readlines()]
        fr.close()
        # datArr=[line for line in stringArr]
        return mat(stringArr).astype(float)
    
    ''' 函数说明：PCA方法使用 '''
    def PCA(dataMat,topNfeat=9999999):
        meanVals=mean(dataMat,axis=0)
        meanRemoved = dataMat - meanVals    #中心化
        covMat = cov(meanRemoved , rowvar=0)        #建立协方差矩阵
        eigVals,eigVects = linalg.eig(mat(covMat))      #求解特征值和特征向量
        eigValInd=argsort(eigVals)      #对特征值进行排序
        eigValInd = eigValInd[:-(topNfeat + 1):-1]
        redEigVects = eigVects[:,eigValInd]     #获取前k个特征向量，组成投影矩阵
        lowDDataMat = meanRemoved * redEigVects     #进行投影转换
        reconMat = (lowDDataMat * redEigVects.T) + meanVals
    
        return lowDDataMat, reconMat
    
    ''' 函数说明：显示数据 '''
    def ShowData(dataMat,lowMat,reconMat):
        fig = plt.figure()
        ax = fig.add_subplot(111)
        ax.scatter(dataMat[:,0].flatten().A[0], dataMat[:,1].flatten().A[0],marker='^',s=90)
        ax.scatter(reconMat[:,0].flatten().A[0],reconMat[:,1].flatten().A[0],marker='o',s=10,c='red')
        # ax.scatter(lowMat[:,0].flatten().A[0],lowMat[:,1].flatten().A[0],marker='o',s=50,c='blue')
    
        plt.show()
    
    ''' 函数说明：主函数 '''
    if __name__ == '__main__':
        dataMat = loadDataSet()
        lowMat ,reconMat = PCA(dataMat, 1)
        ShowData(dataMat,lowMat,reconMat)

实现效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RheXVoYWl0YW5nMQ_size_16_color_FFFFFF_t_70_pic_center]

# 三、小结 #

> PCA算法的实验过程可能相对简单，不过其是一个经典的降维方法，主要也被用于数据的压缩和坐标转换这两个方面。当遇到特征个数过多或是想要提高算法效率的情况时，可以考虑使用该方法来将原始数据降维处理，更多的用法还需要日后更为深入的学习了解。

> 参考资料：《机器学习》《机器学习实战》

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RheXVoYWl0YW5nMQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/f88a625e58ff489ab09e6d950e6014db.png