【深度学习】标签平滑

Myth丶恋晨 2023-02-25 02:13 31阅读 0赞

> 标签平滑采用如下思路解决这个问题：在训练时即假设标签可能存在错误，避免“过分”相信训练样本的标签，也就避免了过拟合。具体实例如下：

1 假设某个三分类问题，最终的预测输出为(1.,5.4.)，经过Softmax函数之后，就可以得到：  
![在这里插入图片描述][20200710085755162.png]  
2 假设该样本的初始label为(0,1,0)，则对应的损失函数，使用交叉熵计算为：  
![在这里插入图片描述][20200710085945326.png]  
3 可以发现，其实模型的学习目标是 让 0.721 无限接近类标 1,但是其实一般情况下，预测的分类准确率没必要非要是1，可以是 0.99等，那么我们就考虑从初始的label入手，进行平滑操作，让其变为(0.005,0.99,0.005) 这样子的形式，一定程度上，可以减小模型的过拟合，更符合我们训练的过程。

###### Pytorch 代码 ######

def one_hot(label,num_class,smooth_factor):
        """ 将一维列表转换为独热编码 """
        label = label.resize_(label.size()[0], 1)
        m_zeros = torch.zeros(label.size()[0], num_class)
        # 从 value 中取值，然后根据 dim 和 index 给相应位置赋值
        onehot = m_zeros.scatter_(1, label, 1-smooth_factor)  # (dim,index,value)
    
        return onehot  # Tensor -> Numpy
    if __name__=="__main__":
    	tensor=torch.from_numpy(np.array([1,3,4]))
    	print(tensor.size())
    	one_hot_val=one_hot(tensor,5,0.01)
    	one_hot_val+=0.01/5
    	print(one_hot_val)

![在这里插入图片描述][20200710091615962.png]

[20200710085755162.png]: /images/20230209/a01fb28d8c5547ec96b36dc367d0f57d.png
[20200710085945326.png]: /images/20230209/9417c8ecaf5e4fe082fcc0bb86739de5.png
[20200710091615962.png]: https://img-blog.csdnimg.cn/20200710091615962.png