机器学习——特征工程

电玩女神 2023-02-12 10:23 124阅读 0赞

### 特征工程 ###

*  一、特征抽取
 *   *  1、字典
     *  2、文本
 *  二、特征处理
 *   *  (一)、特征处理的方法
     *   *   *  1、数值型数据：
             *  2、类别型数据：one-hot编码
             *  3、时间类型：时间的切分
     *  （二）sklearn特征处理的API
     *   *  1⃣️ 归一化
         *   *  1、归一化概念
             *  2、归一化计算过程
             *  3、归一化步骤
             *  4、归一化总结
         *  2⃣️ 标准化
         *   *  1、标准化特点
             *  2、标准化、归一化对比
             *  3、标准化步骤
             *  4、标准化总结
         *  3⃣️ 缺失值处理
         *   *  1、缺失值处理方法
             *  2、缺失值处理方语法
 *  三、数据降维
 *   *  （一）特征选择
     *   *  1⃣️ 方法
         *   *  1、 Filter语法：
     *  （二）主成分分析
     *   *   *  1、 API：sklearn.decomposition
             *  2、概念
 *  三、机器学习算法
 *   *  2、k-近邻
     *  3、朴素贝叶斯
     *  4、分类评估
     *   *   *  1、准确率：
             *  2、精确率\*\*召回率\*\*
             *  3、F1-score
     *  5、模型的选择与调优
     *   *   *  1、交叉验证：
             *  2、网格搜索
     *  6、决策树与随机森林
     *   *   *   *  1、信息增益
                 *  2、决策树
                 *  3、集成学习
                 *  4、随机森林

# 一、特征抽取 #

## 1、字典 ##

## 2、文本 ##

# 二、特征处理 #

特征预处理：对数据进行处理，通过**特定的统计方法（数学方法）将数据转换成算法要求的数据**

## (一)、特征处理的方法 ##

#### 1、数值型数据： ####

标准缩放：  
1、归一化  
2、标准化  
3、缺失值

#### 2、类别型数据：one-hot编码 ####

#### 3、时间类型：时间的切分 ####

## （二）sklearn特征处理的API ##

### 1⃣️ 归一化 ###

#### 1、归一化概念 ####

![在这里插入图片描述][20200525185340707.png]  
特征同样重要时，进行归一化  
![在这里插入图片描述][20200525185359709.png]

#### 2、归一化计算过程 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70]

#### 3、归一化步骤 ####

1、实例化MinMAxScaler  
2、通过fit\_transform转换

#### 4、归一化总结 ####

注意在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性（稳定性）较差，只适合传统精确小数据场景。

### 2⃣️ 标准化 ###

#### 1、标准化特点 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 1]

#### 2、标准化、归一化对比 ####

![在这里插入图片描述][20200602135057740.png]

#### 3、标准化步骤 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 2]

#### 4、标准化总结 ####

![在这里插入图片描述][20200602144917838.png]

### 3⃣️ 缺失值处理 ###

#### 1、缺失值处理方法 ####

一般按列填补  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 3]

#### 2、缺失值处理方语法 ####

![在这里插入图片描述][20200602145351762.png]

# 三、数据降维 #

## （一）特征选择 ##

### 1⃣️ 方法 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 4]

#### 1、 Filter语法： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 5]

## （二）主成分分析 ##

#### 1、 API：sklearn.decomposition ####

#### 2、概念 ####

PCA：当特征数量达到上百的时候，考虑数据的简化  
![在这里插入图片描述][20200602203225621.png]  
![在这里插入图片描述][20200602205354358.png]

# 三、机器学习算法 #

1、sklearn数据集与估计器  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 6]

## 2、k-近邻 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 7]

## 3、朴素贝叶斯 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 10]

## 4、分类评估 ##

#### 1、准确率： ####

![在这里插入图片描述][2020060416380733.png]

#### 2、精确率**召回率** ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 12]

#### 3、F1-score ####

![在这里插入图片描述][20200604164210410.png]

## 5、模型的选择与调优 ##

#### 1、交叉验证： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 13]

#### 2、网格搜索 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 14]

## 6、决策树与随机森林 ##

##### 1、信息增益 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 16]

##### 2、决策树 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 17]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 19]

##### 3、集成学习 #####

![在这里插入图片描述][20200608181015104.png]

##### 4、随机森林 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 20]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 21]  
总结：/Users/limeng/Desktop/机器学习代码和资料/02\_机器学习第二天\_分类算，评估，调优/资料/第二天总结.pdf

[20200525185340707.png]: https://img-blog.csdnimg.cn/20200525185340707.png
[20200525185359709.png]: https://img-blog.csdnimg.cn/20200525185359709.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200525185740945.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200602112535823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200602135057740.png]: https://img-blog.csdnimg.cn/20200602135057740.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200602135223890.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200602144917838.png]: https://img-blog.csdnimg.cn/20200602144917838.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200602145252500.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200602145351762.png]: https://img-blog.csdnimg.cn/20200602145351762.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200602160203668.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/2020060216113524.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200602203225621.png]: https://img-blog.csdnimg.cn/20200602203225621.png
[20200602205354358.png]: https://img-blog.csdnimg.cn/20200602205354358.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200604112642206.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200604112658215.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200604163102451.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200604163119517.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200604162633460.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[2020060416380733.png]: https://img-blog.csdnimg.cn/2020060416380733.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200604163554554.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200604164030942.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200604164210410.png]: https://img-blog.csdnimg.cn/20200604164210410.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200604170614734.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200604171115994.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200608180902276.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20200608180912589.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20200608180922329.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20200608180932759.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20200608181003156.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[20200608181015104.png]: https://img-blog.csdnimg.cn/20200608181015104.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20200608181709805.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20200608181745490.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTAxODAw,size_16,color_FFFFFF,t_70