数据挖掘-Datawhale学习笔记-01-数据分析EDA

拼搏现实的明天。 2023-05-28 14:12 20阅读 0赞

前言： 数据挖掘小白一个，之前也被师兄带着参加过一次数据竞赛，但是多半在划水，对于一个数据挖掘流程还不是特别清晰，通过Datawhale的系统学习，希望可以学到完成的解题流程，为下次比赛打基础。
        学习题目：天池-二手车价格预测
        https://tianchi.aliyun.com/competition/entrance/231784/information
        数据挖掘-数据分析EDA
        https://tianchi.aliyun.com/notebook-ai/detail?postId=95457
        强烈推荐-小白入门学习：
        https://blog.csdn.net/Koala_Tree/article/details/78725881

**数据探索性分析EDA**  
通过探索性分析，寻找变量与变量，变量与预测值之间的一些关系分布，为特征工程及后续处理做准备。  
具体流程包括：

1.载入各种数据科学以及可视化库:  
数据科学库 pandas、numpy、scipy；  
可视化库 matplotlib、seabon；  
其他；

2.载入数据：  
载入训练集和测试集；  
简略观察数据(head()+shape)；

3.数据总览:  
通过describe()来熟悉数据的相关统计量  
通过info()来熟悉数据类型

4.判断数据缺失和异常  
查看每列的存在nan情况  
异常值检测  
value\_counts()查看类别统计

5.了解预测值的分布  
总体分布概况（无界约翰逊分布等）  
查看skewness and kurtosis  
查看预测值的具体频数

6.特征分为类别特征和数字特征，并对类别特征查看unique分布

7.数字特征分析  
相关性分析  
查看几个特征得 偏度和峰值  
每个数字特征得分布可视化  
数字特征相互之间的关系可视化  
多变量互相回归关系可视化

8.类型特征分析  
unique分布  
类别特征箱形图可视化  
类别特征的小提琴图可视化  
类别特征的柱形图可视化类别  
特征的每个类别频数可视化(count\_plot)

9…用pandas\_profiling生成数据报告

***数据探索的意义***  
数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。

1.对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时序问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”，“–”符号等），特征的均值方差情况。

2.分析记录某些特征值缺占比30%以上样本的缺失处理，有助于后续的模型验证和调节，分析特征应该是填充（填充方式是什么，均值填充，0填充，众数填充等），还是舍去，还是先做样本分类用不同的特征模型去预测。

3.对于异常值做专门的分析，分析特征异常的label是否为异常值（或者偏离均值较远或者事特殊符号）,异常值是否应该剔除，还是用正常值填充，是记录异常，还是机器本身异常等。

4.对于Label做专门的分析，分析标签的分布情况等。

5.进步分析可以通过对特征作图，特征和label联合做图（统计图，离散图），直观了解特征的分布情况，通过这一步也可以发现数据之中的一些异常值等，通过箱型图分析一些特征值的偏离情况，对于特征和特征联合作图，对于特征和label联合作图，分析其中的一些关联性。

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#先填一些之前的干货  
**1.对于缺失值的处理方式**  
h![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTQ2OTU5MA_size_16_color_FFFFFF_t_70]  
还有的kaggle比赛也常用**随机森林模型**填补缺失值。

def set_missing_ages(df):
    
        # 把已有的数值型特征取出来丢进Random Forest Regressor中
        age_df = df[['Age','Fare', 'Parch', 'SibSp', 'Pclass']]
    
        # 乘客分成已知年龄和未知年龄两部分
        known_age = age_df[age_df.Age.notnull()].as_matrix()
        unknown_age = age_df[age_df.Age.isnull()].as_matrix()
    
        # y即目标年龄
        y = known_age[:, 0]
    
        # X即特征属性值
        X = known_age[:, 1:]
    
        # fit到RandomForestRegressor之中
        rfr = RandomForestRegressor(random_state=0, n_estimators=2000, n_jobs=-1)
        rfr.fit(X, y)
    
        # 用得到的模型进行未知年龄结果预测
        predictedAges = rfr.predict(unknown_age[:, 1:])
    # print predictedAges
        # 用得到的预测结果填补原缺失数据
        df.loc[ (df.Age.isnull()), 'Age' ] = predictedAges 
    
        return df, rfr

**2.对异常值的识别**  
四分图法，3σ原则  
参考： https://cloud.tencent.com/developer/article/1429994

**补充**：  
**3.对于类别特征与数字特征分析**  
类别：  
通过unique查看种类，  
value\_counts()查看类别统计 （可能会发现极不均匀分布等异常情况）  
数字：  
分析特征与预测变量相关性  
数字特征分布可视化  
查看特征间相关性

##首先将类别特征类型改为object
    #将类别特征与数字特征分开
    #数字特征
    numeric_features = Train_data.select_dtypes(include=[np.number])
    numeric_features.columns
    # # 类型特征
    categorical_features = Train_data.select_dtypes(include=[np.object]) 
    categorical_features.columns
    
    
    #查看类别特征统计分布
    for cat_fea in categorical_features:
        print(cat_fea + "的特征分布如下：")
        print("{}特征有个{}不同的值".format(cat_fea, Train_data[cat_fea].nunique()))
        print(Train_data[cat_fea].value_counts())
    
    
    #数字特征分析
    ## 1) 相关性分析
    #即分析特征变量与预测变量之间相关性，这里变量为price
    price_numeric = Train_data[numeric_features]
    correlation = price_numeric.corr()
    print(correlation['price'].sort_values(ascending = False),'\n')
    
    f , ax = plt.subplots(figsize = (7, 7))
    plt.title('Correlation of Numeric Features with Price',y=1,size=16)
    sns.heatmap(correlation,square = True,  vmax=0.8)
    
    ## 2) 数字特征得分布可视化
    f = pd.melt(Train_data, value_vars=numeric_features)
    g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False)
    g = g.map(sns.distplot, "value")
    
    ## 3) 数字特征相互之间的关系可视化
    sns.set()
    columns = numeric_features
    sns.pairplot(Train_data[columns],size = 2 ,kind ='scatter',diag_kind='kde')
    plt.show()

可视化学习参考：  
https://www.jianshu.com/p/6e18d21a4cad¶  
缺失值处理参考：  
https://segmentfault.com/a/1190000015801384

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTQ2OTU5MA_size_16_color_FFFFFF_t_70]: /images/20230528/3bfb035c1c6a4a0786e1f7d16deca8a9.png