数据分析入门实战系列（二）Pandas

水深无声 2023-05-31 07:12 57阅读 0赞

点击上方“数据仓库与Python大数据”，选择“置顶/星标”

第一时间获取 精彩资讯！

![640?wx\_fmt=png][640_wx_fmt_png]

上一期我们了解了Pandas里面Series数据结构，了解了如何创建修改，清理Series，也了解了一些统计函数，例如方差，标准差，峰度这些数学概念。那么今天我们就来了解Pandas里面的另一个数据结构-----DataFrame。

![640?wx\_fmt=png][640_wx_fmt_png 1]

DataFrame拆开的英文意思是数据框架。事实上它就是一个数据框架，一个类似于数据库中表一样的结构。

![640?wx\_fmt=png][640_wx_fmt_png 2]

比如说我们现在有这样一张表，那么把这张表做成dataframe，先把每一列都提取出来，然后将这些在列的数据都放到一个大的集合里，在这里我们使用字典。（这里我们取姓名，年龄和收入这些字段）

import pandas as pd
    data = {
       'Fname': ['amy', 'john', 'tony'],
            'age': [50, 55, 54],
            'income': [1000000, 500000, 400000000]}
    df1 = pd.DataFrame(data)
    print(df1)

![640?wx\_fmt=png][640_wx_fmt_png 3]

这个时候我们看到这些数据做成的dataframe真的就像一个表一样，事实上它真的就是一张表。

我们把每一列数据都取出来，做成一个list（其实就是我们上期说的Series）。

如果我们想为这些数据添修改索引列（就是数据中的0，1，2），可以使用index参数指定索引。

df2 = pd.DataFrame(data, index=['A', 'B', 'C'], columns=['Fname', 'age', 'income'])
    print(df2)

![640?wx\_fmt=png][640_wx_fmt_png 4]

所以如果构造一个DataFrame，那就需要想好有哪几个列，把列对应的数据做成一个列表放进去。就可以了。说白了就是每个列都是一个Series，**DataFrame = n \* Series**

下面我们来看看一些基础的称呼：

![640?wx\_fmt=png][640_wx_fmt_png 5]

在pandas里面有一些基础的属性需要搞明白，这就和数据库差不多。我们对照数据来理解一下。dataframe里面有个属性叫index，那这个就是索引对应的也是数据库的索引，你也可以把它理解成主键。第二个属性是columns，这个就是一列。对应数据库的表也是一列。有多少个columns就有多少列了~第三个属性是rows，rows大家可以对比成数据的记录，有多少条记录就有多少rows。

当然，我们创建dateframe 的时候用的数据可能不是字典，可能就像是多个Series，想直接把它拼成dataframe，这样可以吗？

答案是可以的。我们可以直接使用多个Series去做出一个dataframe。

import pandas as pd
    import numpy as np
    s1 = np.array([1, 2, 3, 4])
    s2 = np.array([5, 6, 7, 8])
    df = pd.DataFrame([s1, s2])
    print(df)

![640?wx\_fmt=png][640_wx_fmt_png 6]

这就是我们上节课讲的，Series有默认索引，从零开始，那这个dataframe也就会和Series一样，如果不给他指定值（列名或索引），他就会从零开始计数。

**我们工作中除了手动创建DataFrame,绝大多数数据都是读取文件获得的，例如读取csv文件，excel文件等等，那下面我们来看看pandas如何读取文件呢？**

pd.read_csv(filename)：从CSV文件导入数据
    pd.read_table(filename)：从限定分隔符的文本文件导入数据
    pd.read_excel(filename)：从Excel文件导入数据
    pd.read_sql(query, connection_object)：从SQL表/库导入数据
    pd.read_json(json_string)：从JSON格式的字符串导入数据
    pd.read_html(url)：解析URL、字符串或者HTML文件，抽取其中的tables表格
    pd.read_clipboard()：从你的粘贴板获取内容，并传给read_table()
    pd.DataFrame(dict)：从字典对象导入数据，Key是列名，Value是数据

pandas支持从多个数据源导入数据，包含文件，字典，json，sql，html等等。

那我们先来看看文件的导入：

![640?wx\_fmt=png][640_wx_fmt_png 7]

我们创建一个csv文件，填写以上数据。

下面我们读取这个文件：

import pandas as pd
    df = pd.read_csv("ex.csv")
    print(df)

![640?wx\_fmt=png][640_wx_fmt_png 8]

读出来的数据就是一个dataframe，可以直接对他进行操作。

如果想获取前几行值可以直接使用head方法，或者切片，都是可以拿到前两行的值的。读取数据的方法提供如下几种：

df.head(n)：查看DataFrame对象的前n行
    df.tail(n)：查看DataFrame对象的最后n行
    df.shape()：查看行数和列数
    df.info()：查看索引、数据类型和内存信息
    df.describe()：查看数值列的汇总统计
    s.value_counts(dropna=False)：查看Series对象的唯一值和计数
    df.apply(pd.Series.value_counts)：查看DataFrame对象中每一列的唯一值和计数

print(df.head(2))
    print(df[0:2])

![640?wx\_fmt=png][640_wx_fmt_png 9]

读取excel：

import pandas as pd
    score = pd.DataFrame(pd.read_excel('data.xlsx'))
    score.to_excel('data1.xlsx')
    print(score)

读取文件的示例就到这里，基本上每种文件都是一样的。

关于DataFrame里面还有一些修改表结构的操作，可以来适当了解一下：

import pandas as pd
    import numpy as np
    val = np.arange(10, 60).reshape(10, 5)
    col = ["ax", "bx", "cx", "dx", "ex"]
    idx = list("abcdefghij")
    df1 = pd.DataFrame(val, columns = col, index = idx)
    print(df1)
    print("*" * 21, "<- dataframe")
    df2 = df1.rename(columns={
       "ax": "修改1", "bx": "修改2"})
    print(df2)
    print("*" * 21, "<- dataframe")

![640?wx\_fmt=png][640_wx_fmt_png 10]

通过rename方法来修改列名，本质上并没有修改原来的dataframe，而是生成新的dataframe替换了列名。

在DataFrame中增加一列，我们可以直接给值来增加一列，就和python的字典里面添加元素是一样的：

import pandas as pd
    import numpy as np
    val = np.arange(10, 60).reshape(10, 5)
    col = ["ax", "bx", "cx", "dx", "ex"]
    idx = list("abcdefghij")
    df1 = pd.DataFrame(val, columns=col, index=idx)
    print(df1)
    nval = val = np.arange(100, 110).reshape(10, 1)
    df1["fx"] = nval
    print(df1)

![640?wx\_fmt=png][640_wx_fmt_png 11]

连接多个dataframe，这个就和数据库一样，可以联想一下数据库之间的表连接，在dataframe里面我们使用contact方法。我们做的连接是全连接，如果数据不全的就会拿NaN来补：

import pandas as pd
    import numpy as np
    val1 = np.arange(10, 40).reshape(10, 3)
    val2 = np.arange(50, 80).reshape(10, 3)
    col1 = ["ax", "bx", "cx"]
    col2 = ["cx", "dx", "ex"]
    idx = list("abcdefghij")
    df1 = pd.DataFrame(val1, columns=col1, index=idx)
    df2 = pd.DataFrame(val2, columns=col2, index=idx)
    print(df1)
    print(df2)
    df3 = pd.concat([df1, df2[5:], df1[:5], df2], axis=1)
    print(df3)

![640?wx\_fmt=png][640_wx_fmt_png 12]

![640?wx\_fmt=png][640_wx_fmt_png 13]

如果不想做全连接，想做一些其他的连接，那我们在连接的时候可以使用merge方法，这样就可以进行不同的连接了。

import pandas as pd
    df1 = pd.DataFrame({
       'name':['amy', 'john', 'a', 'b', 'c'], 'data1': range(5)})
    df2 = pd.DataFrame({
       'name':['amy', 'john', 'A', 'B', 'C'], 'data2': range(5)})
    
    # 指定 name 这列进行连接。
    df3 = pd.merge(df1, df2, on='name')
    # 内连接
    df3 = pd.merge(df1, df2, how='inner')
    # 左连接
    df3 = pd.merge(df1, df2, how='left')
    # 右连接
    df3 = pd.merge(df1, df2, how='right')

![640?wx\_fmt=png][640_wx_fmt_png 14]

在这后，我们需要做的就是处理数据了。把给定的一些数据处理好，这就看我们这些人是如何处理数据了。俗话说的好，条条大路通罗马。每个数据分析师都有自己处理数据的手段，最好能达到目的就可以了。

我们一开始拿到的原始数据多多少少是有些问题的，可能会丢失数据啊，有脏数据啊等等，这个时候需要我们来对数据进行一些清理。数据清洗是在数据准备的过程中必不可少的环节，pandas为我们提供了一系列清洗数据的方法。这里我们就来介绍一些。

首先我们可能需要从给定的数据中提取出一些我们想要的数据，而Pandas 提供了一些选择的方法，这些选择的方法可以把数据切片，也可以把数据切块。下面我们简单介绍一下：

选择一列：

**data\['column\_name'\]**

选择一列的前几行数据：

**data\['columns\_name'\]\[:n\]**

选择多列：

**data\[\['column1','column2'\]\]**

Where 条件过滤：

**data\[data\['column\_name'\] > condition\]**

那我们可以考虑一下产生这些异常数据的原因有哪些呢？

一般的，产生这个问题可能的原因可能有以下几点：

**1、从来没有填正确过**

**2、数据不可用**

**3、计算错误**

对于这些问题，我们处理这些异常数据无非就是下面几种办法：

**1、为缺失数据赋值默认值**

**2、去掉/删除缺失数据行**

**3、去掉/删除缺失率高的列**

**添加默认值（fillna）**

现在我们的数据中，年龄出现了异常值None，这个时候我们需要把None替换成标准的年龄值，我们假设研究对象的年龄平均在23左右，就把默认值设成23，那我们就可以成功的把None替换成23了。

import pandas as pd
    data = {
       'Fname': ['amy', 'john', 'tony'],
            'age': [50, None, 54],
            'income': [1000000, 500000, 400000000]}
    df1 = pd.DataFrame(data)
    df1.age = df1.age.fillna(23)
    print(df1)

![640?wx\_fmt=png][640_wx_fmt_png 15]

**删除不完整的行（dropna）**

假设我们想删除任何有缺失值的行。这种操作具有侵略性，但是我们可以根据我们的需要进行扩展。

我们可以使用isnull来查看dataframe中是否有缺失值。

df1.isnull().values.any()

删除任何包含 NA 值的行是很容的：

df1.dropna()

当然，我们也可以删除一整行的值都为 NA：

df1.dropna(how='all')

我们也可以增加一些限制，在一行中有多少非空值的数据是可以保留下来的（在下面的例子中，行数据中至少要有 5 个非空值）

df1.drop(thresh=5)

**删除不完整的列（dropna）**

我们可以上面的操作应用到列上。我们仅仅需要在代码上使用 axis=1 参数。这个意思就是操作列而不是行。（默认是axis=0。）

删除一整列为 NA 的列：

data.drop(axis=1, how='all')

删除任何包含空值的列：

data.drop(axis=1. how='any')

**规范化数据类型**

我们可以在读取文件的时候就限定，哪一列的数据是什么类型。

data = pd.read_csv('../data/moive.csv', dtype={
       'duration': int})
    
    data = pd.read_csv('./data/moive.csv', dtype={
       'year':str})

还有一些注意点就是，当数据变成人为的破环，例如大写变小写，单词拼错等。使用一些方法来修复，具体是用正则还是其他方法，就看你了。

**删除重复值（drop\_duplicates）**

表中难免会有一些重复的记录，这时候我们需要把这些重复的数据都删除掉。

import pandas as pd
    data = {
       'Fname': ['amy', 'amy', 'john', 'tony'],
            'age': [50, 50, None, 54],
            'income': [1000000, 1000000, None, 400000000]}
    df1 = pd.DataFrame(data)
    print(df1.duplicated())
    print(df1.drop_duplicates())

![640?wx\_fmt=png][640_wx_fmt_png 16]

使用duplicated方法可以查找出是否有重复的行，使用drop\_duplicated方法就可以直接将重复的行删除了。

关于dataframe中的统计函数，这里就不多说什么了，具体已经在Serires那个章节中列详细出来了。具体可以参考以下方法。

df.count（）＃非空元素计算
    df.min（）＃最小值
    df.max（）＃最大值
    df.idxmin（）＃最小值的位置，类似于R中的which.min函数
    df.idxmax（）＃最大值的位置，类似于R中的which.max函数
    df.quantile（0.1）＃10％分位数
    df.sum（）＃求和
    df.mean（）＃均值
    df.median（）＃中位数
    df.mode（）＃众数
    df.var（）＃方差
    df.std（）＃标准差
    df.mad（）＃平均绝对
    偏差df.skew（）＃偏度
    df.kurt（）＃峰度
    df.describe（）＃一次性输出多个描述性统计指标

下面我们说一下Pandas里面最神奇万能的apply函数。

apply函数可以对DataFrame对象进行操作，既可以作用于一行或者一列的元素，也可以作用于单个元素。apply最神奇的地方就是它里面可以调用函数，我们经常在apply里面写一些功能的匿名函数。

import pandas as pd
    import numpy as np
    s = pd.Series(np.arange(2, 6))
    print(s)
    print(s.apply(lambda x: 2 * x))

![640?wx\_fmt=png][640_wx_fmt_png 17]

从上面例子的结果中我们看出数据里面的所有数字都被乘上了2，这就因为我们的apply函数里面写了一个匿名函数，将原来的数据变成两倍（如果你对lambda不懂，可以

apply不仅可以适用于整个dataframe，也可以作用于行和列，如果想作用于行，可以添加参数axis=0，如果想作用于列，axis=1。

关于Pandas，我们到这里就算讲完了。欢迎大家前来交流和指点。

--------------------

![640?wx\_fmt=png][640_wx_fmt_png 18]

猜你

喜

欢

--------------------

![640?wx\_fmt=png][640_wx_fmt_png 19]

福

利

时刻

01. 公众号后台回复「06」获取「数据仓库」「数据治理」等经典大数据和数据仓库电子书或视频赠送。

02. 如要获取《大牛带你从0到1建设数据仓库》实战高清PPT或数仓实战视频，请关注公众号后添加小助手微信\[ ID**：**iom1128昵称：紫霞仙子\]，备注：PPT。

03. 高手如云，拉您入群「数据」，「爬虫」、「资料分享」，公众号后台回复：**加群**。技术大佬们在等你，各种资源定期分享~

--------------------

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

![640?wx\_fmt=png][640_wx_fmt_png 20]

真爱粉，记得星标或置顶哦！点个\[在看\]吧~

[640_wx_fmt_png]: /images/20230531/ba951ae11061411da141ace718d2b1fb.png
[640_wx_fmt_png 1]: /images/20230531/8eb3ba5812af4dbc9ce9da3d8040c204.png
[640_wx_fmt_png 2]: /images/20230531/b2d431adb4b04e5bb686da89300a2a7a.png
[640_wx_fmt_png 3]: /images/20230531/ef53d7bdac5b4af58d730e3c7600c5bd.png
[640_wx_fmt_png 4]: /images/20230531/4bf12d6f307343aeace786a40cc3d34b.png
[640_wx_fmt_png 5]: /images/20230531/cfd149b9aac44d6989fdeb8c96c482eb.png
[640_wx_fmt_png 6]: /images/20230531/9376847fe0114943b08be6327bc21ff0.png
[640_wx_fmt_png 7]: /images/20230531/9e2f2262a0c64a949c1564b42c7e2a13.png
[640_wx_fmt_png 8]: /images/20230531/b7f0de0b29b34988a2e75cebad9f523b.png
[640_wx_fmt_png 9]: /images/20230531/62159af1177943e393e1117590d41f75.png
[640_wx_fmt_png 10]: /images/20230531/6d12ddd72f3c4911880908da78f182a2.png
[640_wx_fmt_png 11]: /images/20230531/d28e82caa4f14b409054cb23243babf4.png
[640_wx_fmt_png 12]: /images/20230531/be3c3cb02f484596b919c113377993c3.png
[640_wx_fmt_png 13]: /images/20230531/7e1e8efdeda64f839ce8d705863408a8.png
[640_wx_fmt_png 14]: /images/20230531/4b5a51a6212a44f48cbb46538ab72b0d.png
[640_wx_fmt_png 15]: /images/20230531/9f6daa39469742c0bf20ae229b7b6f0a.png
[640_wx_fmt_png 16]: /images/20230531/28c8931c287c4012b6cc043b402eab07.png
[640_wx_fmt_png 17]: /images/20230531/f66ae3a1f210408ebe8acc80a36b6e66.png
[640_wx_fmt_png 18]: /images/20230531/3e35c7cdf02947929ed7b7f476f5d7db.png
[640_wx_fmt_png 19]: /images/20230531/b94ca3c4df81413cb6701a9f33c6b85e.png
[640_wx_fmt_jpeg]: /images/20230531/89da83aced34427ab6db124af719ddee.png
[640_wx_fmt_png 20]: /images/20230531/9714f045bdb94ac685ee1b7e65163ae3.png