【20210914】【机器/深度学习】一种非线性降维的手段——manifold learning流形学习

红太狼 2022-09-11 07:18 204阅读 0赞

# 一、背景 #

高维数据不像 2-3 维数据那么容易可视化，它很难通过图表展示数据本身的内部结构。所以**为了实现数据集结构的可视化，数据的维度必须通过某种方式降维。**

# 二、常用的降维手段 #

一系列监督或非监督的线性降维框架，如：Principal Component Analysis(PCA, 主成分分析)、Independent Component Analysis(独立成分分析)、Linear Discriminant Analysis(线性判别分析)……这些方法用于多维数据选择有趣的线性投影，不过会错失数据结构中的非线性项。

Manifold Learning 是一种非线性降维手段：它从数据本身学习高维结构，不需要使用既定的分类。

Manifold Learning 是可视化高维数据的工具，它将数据点之间的相似性转换为联合概率，并尝试最小化低维嵌入和高维数据的联合概率之间的 Kullback-Leibler 差异。如果特征的数量非常多，建议是用另一种降维方法，例如：对于密集数据使用 PCA，对于稀疏数据使用 TruncatedSVD，将尺寸数量减少到合理的数量，这将抑制一些噪声并加快样本之间成对距离的计算。

# 三、用法 #

使用 sklearn.manifold.TSNE，这个函数用途：是将特征弄成一坨，变成一个变量，然后和聚类后的 label 画图就可以了。

（参考：[sklearn.manifold.TSNE可视化高位数据工具][sklearn.manifold.TSNE]）

（参考：[基于sklearn.manifold的 T-SNE 的简单使用（介绍关系数据和图像数据）+ matplotlib的简单使用][sklearn.manifold_ T-SNE _ matplotlib]）

''' 导入所需包 '''
    import numpy as np
    import matplotlib.pyplot as plt
    import pandas as pd
    from sklearn.datasets import load_iris
    from sklearn.cluster import KMeans
    from sklearn.manifold import TSNE
    
    ''' 导入数据集 '''
    X = load_iris().data
    kmeans = KMeans(n_clusters=3, random_state=0)
    kmeans.fit(X)
    
    labels = kmeans.labels_  # 预测标签
    labels = pd.DataFrame(labels, columns={'labels'})
    X = pd.DataFrame(X)
    X.insert(4, 'labels', labels)   # 数据加预测标签一共5列
    
    ''' 数据降维 '''
    tsne = TSNE()
    a = tsne.fit_transform(X)   # 对X进行降维，n_cn_components默认为2，所以a是两列的dataframe数据
    liris = pd.DataFrame(a, index=X.index)  # liris也是两列的dataframe数据
    
    d1 = liris[X['labels']==0]  # 降维之后X预测标签为0的数据
    d2 = liris[X['labels']==1]  # 降维之后X预测标签为1的数据
    d3 = liris[X['labels']==2]  # 降维之后X预测标签为2的数据 
    plt.plot(d1[0], d1[1], 'r', d2[0], d2[1], 'go', d3[0], d3[1], 'b*')
    plt.show()

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_17_color_FFFFFF_t_70_g_se_x_16][]

# 四、补充 Tips #

在实现不同标签数据的可视化时，我使用了 scatter 作图工具，它可以指定每类散点的颜色，指定 color 即可~

''' myData 是特征数据，对应的 labels 有两种标签：0 和 1 '''
    
    from sklearn.manifold import TSNE
    
    dic = {'1': 'red', '0': 'blue'}
    colors = [dic[str(int(item[0]))] for item in labels.values]
    
    # 二维
    tsne_2 = TSNE()
    data_embedded_2 = pd.DataFrame(tsne_2.fit_tranform(myData))
    plt.figure()
    plt.scatter(data_embedded_2.loc[:, 0], data_embedded_2.loc[:, 1], c=colors)
    plt.show()
    
    # 三维
    tsne_3 = TSNE(n_components=3)
    data_embedded_3 = pd.DataFrame(tsne_3.fit_tranform(myData))
    plt.figure()
    plt.scatter(data_embedded_3.loc[:, 0], data_embedded_3.loc[:, 1], data_embedded_3.loc[:, 2], c=colors)
    plt.show()

[sklearn.manifold.TSNE]: https://www.cnblogs.com/cgmcoding/p/14072237.html
[sklearn.manifold_ T-SNE _ matplotlib]: https://blog.csdn.net/holmes_MX/article/details/82252263
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/00768415a802429ab672ebfb54063d1a.png