机器学习中的编码：Index编码、OneHot编码和Multiple编码及其对比

女爷i 2023-06-14 04:25 61阅读 0赞

### 文章目录 ###

*   *   *  一、 Index编码
         *  二、 OneHot编码
         *   *  独热编码优缺点
             *  什么情况下(不)用独热编码？
             *  什么情况下(不)需要归一化？
         *  三、 Multiple编码
         *   *  如何使用Multiple编码呢？
         *  四、 编码比较
         *  参考文献

### 一、 Index编码 ###

用来对离散的类型特征进行编码，如，不连续的数值、文本，将离散的特征转换成连续的数值型变量。基于索引的编码可以起到数据归一化的作用，如，id为1和10000，当id作为LR的特征时，id为1的用户和id为10000的用户基本属性一样，但LR算法中10000权重过大，会导致id=1的特征基本不起作用，必须进行归一化，类似特征都应单独进行归一化。

如特征A取值共有9种情况，如，\[1, 200, 10000, 30000, 100000\]，则索引编码后为\[0, 1, 2, 3, 4\]。

**代码示例：**

from sklearn.preprocessing import LabelEncoder
    a = [1, 200, 10000, 30000, 100000]
    label_coder = LabelEncoder()
    label_coder.fit(a)
    b = label_coder.transform(a)
    print(b)

### 二、 OneHot编码 ###

OneHot编码也叫独热编码或哑编码，可以解决某些分类器不好处理离散属性数据的问题，在一定长度上也起到了对特征进行扩充的作用。

大部分算法是基于向量空间中的距离度量来进行计算的，为了使非偏序关系的变量取值不具有偏序性，并且到圆点是等距的。使用one-hot编码，将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用one-hot编码，会让特征之间的距离计算更加合理。离散特征进行one-hot编码后，编码后的特征，其实每一维度的特征都可以看做是连续的特征。跟对连续型特征的归一化方法一样，对每一维特征进行归一化。比如归一化到\[-1,1\]或归一化到均值为0,方差为1。

为什么特征向量要映射到欧式空间？

在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的，而我们常用的距离或相似度的计算都是在欧式空间的相似度计算，如，计算余弦相似性，就是基于欧式空间。

**代码示例：**

from sklearn.preprocessing import OneHotEncoder
    onehot_coder = OneHotEncoder()
    onehot_coder.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
    c = onehot_coder.transform([[0, 0, 3]])
    print(c.toarray())

#### 独热编码优缺点 ####

优点：独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。

缺点：当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

#### 什么情况下(不)用独热编码？ ####

*  用
    
    > 用于类别型数据的离散值。
 *  不用
    
    > 让距离计算更合理，但如果特征是离散的，并且不用one-hot编码就可以很合理的计算出距离，那么就没必要进行one-hot编码。 有些基于树的算法在处理变量时，并不是基于向量空间度量，数值只是个类别符号，即没有偏序关系，所以不用进行独热编码。 Tree Model不太需要one-hot编码： 对于决策树来说，one-hot的本质是增加树的深度。

总的来说，要是oneHot encoding的类别数目不太多，即升维不大，建议优先考虑。

#### 什么情况下(不)需要归一化？ ####

*  需要
    
    > 基于参数的模型或基于距离的模型，都是要进行特征的归一化。
 *  不需要
    
    > 基于树的方法不需要进行特征的归一化，例如随机森林，bagging 和 boosting等。

### 三、 Multiple编码 ###

顾名思义，Multiple编码特征将多个属性同时编码到一个特征中。在推荐场景中，单个用户对哪些物品感兴趣的特征就是一种Multiple编码特征，如，表示某用户对产品1、产品2、产品3、产品4是否感兴趣，则这个特征可能有多个取值，如用户A对产品1和产品2感兴趣，用户B对产品1和产品4感兴趣，用户C对产品1、产品3和产品4感兴趣，则用户兴趣特征为

<table> 
 <thead> 
  <tr> 
   <th>用户</th> 
   <th>UserInterests</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>A</td> 
   <td>[1, 2]</td> 
  </tr> 
  <tr> 
   <td>B</td> 
   <td>[1, 4]</td> 
  </tr> 
  <tr> 
   <td>C</td> 
   <td>[1, 3, 4]</td> 
  </tr> 
 </tbody> 
</table>

Multiple编码采用类似oneHot编码的形式进行编码，根据物品种类数目，展成物品种类数目大小的向量，当某个用户感兴趣时，对应维度为1，反之为0，如下

<table> 
 <thead> 
  <tr> 
   <th>用户</th> 
   <th>UserInterests</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>A</td> 
   <td>[1, 1, 0, 0]</td> 
  </tr> 
  <tr> 
   <td>B</td> 
   <td>[1, 0, 0, 1]</td> 
  </tr> 
  <tr> 
   <td>C</td> 
   <td>[1, 0, 1, 1]</td> 
  </tr> 
 </tbody> 
</table>

**代码示例：**

from sklearn.preprocessing import LabelEncoder
    d = [[1, 2], [1, 4], [1, 3, 4]]  // 原始特征
    e = set()
    for i in d:  // 求d中所有物品类别
        for j in i:
            e.add(j)
            
    // 对d中物品进行Index编码
    label_coder = LabelEncoder()
    label_coder.fit(list(e))
    
    // 特征[1, 2]进行编码
    f = [0]*len(e)
    for i in label_coder2.transform([1, 2]):
        f[i] = 1
    print(f)
    //[1, 2] 转换后为 [1, 1, 0, 0]

#### 如何使用Multiple编码呢？ ####

我们将多个属性同时编码到同一个特征中，目的就是同时利用多个属性的特征。经过Multiple编码后的特征大小为\[batch\_size, num\_items\]，记作U，构建物品items的Embedding矩阵，该矩阵维度为\[num\_items, embedding\_size\]，记作V，将矩阵U和矩阵V相乘，我们就得到了大小为\[batch\_size， embedding\_size\]的多属性表示。

上述过程实现了多维多属性特征的构建，该手段在深度学习特征工程中被广泛应用。

### 四、 编码比较 ###

以下通过应用场景对以上3种编码方式进行比较：

*  当离散型特征的方差较大，即相似特征取值差异较大时，需要进行归一化，可采用Index编码；
 *  当所使用的算法基于空间向量时，需要进一步对特征进行oneHot编码，需要注意避免维度爆炸，当维度较大时应考虑采用降维方法，如PCA；
 *  当需要对特征进行多维编码时，可采用Multiple编码，多维度多属性特征的构建可以在此基础上增加Embedding的特征得到；

### 参考文献 ###

1.  [OneHotEncoder独热编码和 LabelEncoder标签编码][OneHotEncoder_ LabelEncoder]
2.  [multi-hot编码原理][multi-hot]

[OneHotEncoder_ LabelEncoder]: https://www.cnblogs.com/king-lps/p/7846414.html
[multi-hot]: https://blog.csdn.net/weixin_40314737/article/details/81737101