SVM线性实例

小咪咪 2023-07-16 03:50 84阅读 0赞

小彩笔的学习笔记，偷懒只做了训练集

from sklearn.datasets import make_blobs
    from sklearn.svm import SVC
    import matplotlib.pyplot as plt
    import numpy as np

X,y = make_blobs(n_samples=50, centers=2, random_state=0,cluster_std=0.6)
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")#rainbow彩虹色
    plt.xticks([])
    plt.yticks([])
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70]

#首先要有散点图
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")
    ax = plt.gca() #获取当前的子图，如果不存在，则创建新的子图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 1]

#获取平面上两条坐标轴的最大值和最小值
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()
     
    #在最大值和最小值之间形成30个规律的数据
    axisx = np.linspace(xlim[0],xlim[1],30)
    axisy = np.linspace(ylim[0],ylim[1],30)
     
    axisy,axisx = np.meshgrid(axisy,axisx)
    #我们将使用这里形成的二维数组作为我们contour函数中的X和Y
    #使用meshgrid函数将两个一维向量转换为特征矩阵
    #核心是将两个特征向量广播，以便获取y.shape * x.shape这么多个坐标点的横坐标和纵坐标
     
    xy = np.vstack([axisx.ravel(), axisy.ravel()]).T
    #其中ravel()是降维函数，vstack能够将多个结构一致的一维数组按行堆叠起来
    #xy就是已经形成的网格，它是遍布在整个画布上的密集的点
     
    plt.scatter(xy[:,0],xy[:,1],s=1,cmap="rainbow")
     
    #理解函数meshgrid和vstack的作用
    a = np.array([1,2,3])
    b = np.array([7,8])
    #两两组合，会得到多少个坐标？
    #答案是6个，分别是 (1,7),(2,7),(3,7),(1,8),(2,8),(3,8)
     
    v1,v2 = np.meshgrid(a,b)
     
    v1
     
    v2
     
    v = np.vstack([v1.ravel(), v2.ravel()]).T

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 2]

#建模，通过fit计算出对应的决策边界
    clf = SVC(kernel = "linear").fit(X,y)#计算出对应的决策边界
    Z = clf.decision_function(xy).reshape(axisx.shape)
    #重要接口decision_function，返回每个输入的样本所对应的到决策边界的距离
    #然后再将这个距离转换为axisx的结构，这是由于画图的函数contour要求Z的结构必须与X和Y保持一致
    
    #首先要有散点图
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")
    ax = plt.gca() #获取当前的子图，如果不存在，则创建新的子图
    #画决策边界和平行于决策边界的超平面
    ax.contour(axisx,axisy,Z
               ,colors="k"
               ,levels=[-1,0,1] #画三条等高线，分别是Z为-1，Z为0和Z为1的三条线
               ,alpha=0.5#透明度
               ,linestyles=["--","-","--"])
     
    ax.set_xlim(xlim)#设置x轴取值
    ax.set_ylim(ylim)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 3]

#记得Z的本质么？是输入的样本到决策边界的距离，而contour函数中的level其实是输入了这个距离
    #让我们用一个点来试试看
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")
    plt.scatter(X[10,0],X[10,1],c="black",s=50,cmap="rainbow")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 4]

clf.decision_function(X[10].reshape(1,2))
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")
    ax = plt.gca()
    ax.contour(axisx,axisy,Z
                ,colors="k"
                ,levels=[-3.33917354]
                ,alpha=0.5
                ,linestyles=["--"])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 5]

#将上述过程包装成函数：
    def plot_svc_decision_function(model,ax=None):
        if ax is None:
            ax = plt.gca()
        xlim = ax.get_xlim()
        ylim = ax.get_ylim()
        
        x = np.linspace(xlim[0],xlim[1],30)
        y = np.linspace(ylim[0],ylim[1],30)
        Y,X = np.meshgrid(y,x) 
        xy = np.vstack([X.ravel(), Y.ravel()]).T
        P = model.decision_function(xy).reshape(X.shape)
        
        ax.contour(X, Y, P,colors="k",levels=[-1,0,1],alpha=0.5,linestyles=["--","-","--"]) 
        ax.set_xlim(xlim)
        ax.set_ylim(ylim)
     
    #则整个绘图过程可以写作：
    clf = SVC(kernel = "linear").fit(X,y)
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap="rainbow")
    plot_svc_decision_function(clf)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 6]

clf.predict(X)
    #根据决策边界，对X中的样本进行分类，返回的结构为n_samples
     
    clf.score(X,y)
    #返回给定测试数据和标签的平均准确度
     
    clf.support_vectors_
    #返回支持向量坐标
     
    clf.n_support_#array([2, 1])
    #返回每个类中支持向量的个数

![在这里插入图片描述][20200317220651420.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70]: /images/20230528/3d1fdcf908ec4451827e3bb302d76daa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 1]: /images/20230528/66366d8037fe4f6cbd5bb4c33c8f88b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 2]: /images/20230528/8f0c521528074e71ab91ee019cfb5638.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 3]: /images/20230528/d7fb007329d444fdacc5a88e2c218dbf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 4]: /images/20230528/d61eeaccd896417cb857b93d275e1512.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 5]: /images/20230528/81d346fa83214d92b86ee24c2962ae62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjI2MDEwMg_size_16_color_FFFFFF_t_70 6]: /images/20230528/60a8a32b08a240778a931366804c6eb6.png
[20200317220651420.png]: /images/20230528/e2cde70099994352bb8e9bc346dd20d1.png