python实验二数据预处理_数据清洗与预处理-Python实现

骑猪看日落 2022-10-31 15:56 400阅读 0赞

这个Python版本必须是3.7的

首先讲一下数据清洗与预处理的定义

在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

我自己理解的是，在我们不管是机器学习建模还是进行数据分析或者数据挖掘操作，我们首先都需要对数据进行预处理。我们拿到手的初始数据往往会存在缺失值、重复值、异常值或者错误值，影响实验结果，我们就需要进行数据清洗。或者是想要保持数据的一致性，也可以数据清洗。有时数据的原始变量不满足分析的要求，我们需要先对数据进行一定的处理，也就是数据的预处理。

数据清洗与预处理的目的是提高数据的质量，提高实验结果的可靠度。

连接数据库

import numpy as np

from pandas import DataFrame

import pandas as pd

import matplotlib.pyplot as plt

导入数据集

假设我们有一个已知的数据集如下：

\{state’:\[‘a’,‘b’,‘c’,‘a’,‘b’,‘c’\],

‘year’:\[2018,2016,2017,2018,2016,2017\],

‘average’:\[87,85,88,87,85,88\]\},

from pandas import DataFrame

\#导入数据集

data = \{'state':\['a','b','c','a','b','c'\],

'year':\[2333,2019,2617,2333,2016,2617\],

'avgage':\[55,85,89,55,85,89\]

\}

frame = DataFrame(data,columns=\['year','state','avgage'\])

\#DataFrame是一种表格型数据结构,具有行索引，也有列索引。列索引为year、state、avgage

print('原始数据:')

print(frame)

也可以读入数据集(csv文件)

datasets = pd.read\_csv('my\_data.csv')

发现重复与冗余

frame.duplicated().any

frame.drop\_duplicates() \# 删除重复值,会删除除第一条后的，默认对所有变量判断

frame.duplicated().count

处理缺失值

frame.isnull().any(axis=0)\# 判断各变量中是否存在缺失值

frame.isnull().sum(axis=0)\# 各变量中缺失值的数量

frame.fillna()\#就是使用指定的方法填充NA / NaN值，填充为0

frame.count()\#是用来计算每一列或每一行的非na细胞，会返回对于每一列/行，非na /null项的数量

均值和自定义函数，比较麻烦单独说一下

\#第一列指定众数填充，第二列使用众数，第三列使用均值。

\#关于均值，frame.mean()，但是列中含有NA / NaN，无法评判什么类型，取第一个众数，来填充state列

\#众数就是frame.mode函数。

frame.fillna(frame.mean())

frame\['state'\].fillna(frame.mode()\['state'\]\[0\])

\#运用自定义函数来填充, 假设自定义函数就是取众数的第一个值

fi=lambda x:x.fillna(x.mode()\[0\])

f=frame.apply(fi)

print('填充之后的结果：')

print(f)

数据集成

就需要不止一个的数据集

pd.merge(left, right, how='inner'/'left'/'right', on=None, left\_on=None, right\_on=None, left\_index=False, right\_index=False, sort=True

, suffixes=('\_x', '\_y'), copy=True, indicator=False)

pd.concat(\[df1,df2,df3\], ignore\_index=True)\#concat函数是在 pandas底下的方法，可以将数据根据不同的轴作简单的融合

pd.concat(\[df1,df2,df3\], ignore\_index=True，axis= 1)\#当axis = 1的时候，concat就是行对齐，然后将不同列名称的两张表合并

数据变换(统一格式并标准化)

简单函数变换的常见方法：平方、开方、对数、差分运算等。

标准化、归一化、离散化。

![d625967e308c41c05d8143ae2994f301.png][]

f = lambda x: ( x - min(x) )/ ( max(x) - min(x) )

\#tranform()的作用是通过找中心和缩放等实现标准化

\['optional'\].transform(f)

f = lambda x: ( x - x.mean() )/ x.std()

\['optional'\].transform(f)

其实还可以通过导库实现，会更简单一些。在这里也就不多说了。

制作人：只识闲人不识君

日期：2020.07.14

本文地址：https://blog.csdn.net/weixin\_46069678/article/details/107330392

希望与广大网友互动？？

点此进行留言吧！

[d625967e308c41c05d8143ae2994f301.png]: /images/20221024/33201910a7d846558ed599c4f9cf712c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，400人围观）

还没有评论，来说两句吧...

相关阅读

相关如何在Python中实现数据的清洗与预处理

在Python中，数据清洗和预处理是一个复杂的过程，但可以通过一些库如Pandas、NumPy、 CleaningUtils等来实现。以下是一些基本步骤： 1. 导入所需库：

布满荆棘的人生/ 2025年03月22日 16:27/ 0 赞/ 77 阅读

相关如何使用Python进行数据清洗与预处理？

在Python中，数据清洗和预处理的过程通常包括以下几个步骤： 1. 导入必要的库： ```python import pandas as pd # 用于处理表格数据 im

短命女/ 2025年02月15日 02:48/ 0 赞/ 141 阅读

相关使用Python进行数据清洗和预处理

在Python中，数据清洗和预处理是一个非常常见的任务，可以使用pandas库来实现。以下是一些基本步骤： 1. 导入所需库： ```python import pand

阳光穿透心脏的1/2处/ 2025年02月02日 21:48/ 0 赞/ 139 阅读

相关实例：使用Python进行数据清洗与预处理

在数据分析过程中，数据清洗和预处理是非常关键的步骤。以下是一个使用Python进行数据清洗与预处理的例子： 1. 导入所需库： ```python import pandas

朱雀/ 2025年01月26日 10:24/ 0 赞/ 153 阅读

相关如何使用Python进行数据清洗与预处理

在Python中，数据清洗和预处理是通过一系列的数据处理步骤来实现的。以下是一个基本的过程： 1. **导入库**：首先，你需要导入必要的库，如`pandas`（用于

不念不忘少年蓝@/ 2025年01月22日 00:18/ 0 赞/ 175 阅读

相关数据清洗与预处理：使用Python实现案例解析

数据清洗和预处理是数据分析流程中的重要步骤，主要目的是确保数据的准确性和一致性。以下是使用Python实现的一个简单案例解析： 1. **导入库**： ```python i

亦凉/ 2025年01月06日 20:45/ 0 赞/ 127 阅读

相关如何用Python实现数据清洗和预处理

在Python中，数据清洗和预处理是一个复杂的过程，通常包括以下几个步骤： 1. 数据导入：首先需要使用Python的pandas库来读取你的数据文件（如CSV、Excel或

淩亂°似流年/ 2025年01月01日 04:51/ 0 赞/ 129 阅读

相关如何利用Python进行数据清洗与预处理

在Python中，数据清洗和预处理是通过Pandas库实现的。以下是一些常用的方法： 1. **导入数据**：使用`pandas.read_csv()`, `read_exc

深碍√TFBOYSˉ_/ 2024年12月27日 21:03/ 0 赞/ 169 阅读

相关 python数据清洗学习笔记--数据预处理

python数据清洗学习笔记–数据预处理文章目录 python数据清洗学习笔记--数据预处理 1、重复值处理 2、缺失值处理

古城微笑少年丶/ 2023年07月22日 09:00/ 0 赞/ 284 阅读

相关 python实验二数据预处理_数据清洗与预处理-Python实现

这个Python版本必须是3.7的首先讲一下数据清洗与预处理的定义在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致

骑猪看日落/ 2022年10月31日 15:56/ 0 赞/ 401 阅读