Python 数据处理与分析之 Pandas 库

秒速五厘米 2024-02-05 11:37 242阅读 0赞

### 介绍 ###

*  Pandas（Python Data Analysis Library）是一个流行的 Python 第三方库，是数据处理和数据分析中不可或缺的工具之一，用于数据处理和数据分析。
 *  它提供了高效的数据分析方法和灵活且高效的数据结构。相比于其他的数据处理库，pandas更适用于处理具有关系型数据或者带标签数据的情况，在时间序列分析方面也有着不错的表现。
 *  如果需要进行数据操作、清理、转换和分析，Pandas 通常是一个非常有用的工具。

### 核心数据类型 ###

#### Series ####

*  **Series** ：是 Pandas 中的一维数据结构，类似于一维数组或列表。
    
    Series 可以存储任何数据类型，并且每个元素都有一个与之关联的标签，称为索引。 索引有助于对数据进行标记和命名，使得数据的访问更加方便和直观。
    
    与传统的数组和列表不同，Pandas 的索引可以是任意数据类型，包括整数、字符串、日期等，不同元素的索引也可以是相同的。
    
    在创建一个 Series 时，可以通过指定索引来为每个元素进行命名，这样一来就可以通过索引来访问和操作这些元素。
    
    在访问 Series 中的元素时，同样需要使用索引来指定要访问的位置。
 *  **创建 Series 对象：**
    
        pandas.Series(data=None, index=None, dtype: Dtype = None, name=None, copy: bool=False, 
                      fastpath: bool = False)
    
     *  **data**：指定 Series 中的数据，可以是列表、数组、字典、标量值等。必选参数
     *  **index**：指定 Series 的索引，用于标识和访问数据。
        
        索引可以是列表、数组、范围对象、标量值或其他 Series
        
        如果没有显式指定索引，Pandas 将自动生成一个默认的整数索引
     *  **dtype**：指定 Series 中数据的数据类型。如果不指定，Pandas 将尝试自动推断数据类型
     *  **name**：指定 Series 的名称
     *  **copy**：默认为 False。如果设置为 True，则会复制数据，而不是使用原始数据的引用。
 *  示例
    
        import pandas as pd
        import numpy as np
        
        # 创建Series（默认索引）
        data = pd.Series([1, np.nan, 6])
        # 创建Series（自建索引）
        data = pd.Series([1, np.nan, 6], index=[0, 3, 4])
        # 创建Series（通过字典直接创建带索引的数据）
        data = pd.Series({
              0: 1, 3: np.nan, 4: 6})
        print(data)
        
        # 输出结果
        0    1.0
        3    NaN
        4    6.0
        dtype: float64

#### DataFrame ####

*  **DataFrame** ：是 Pandas 中的二维数据结构，类似于 Excel 表格或 SQL 表，由行和列组成，并且可以存储不同类型的数据。
    
    DataFrame 可以看做是一系列 Series 对象的集合，每个 Series 对象代表一列数据
    
    在 DataFrame 中，索引的作用更加重要。除了可以为每一行和每一列指定索引外，DataFrame 还支持多级索引，也就是可以为行和列同时指定多个索引。这为多维数据的处理提供了更多的灵活性和功能性。
    
    通过索引，可以轻松地从 DataFrame 中选择特定的行数和列数，可以通过指定行索引和列索引来选择任意子集的数据，也可以通过使用条件表达式来筛选满足特定条件的数据。
 *  **创建 DataFrame 对象：**
    
        pandas.DataFrame(data=None, index=None, dtype: Dtype = None, columns: Axes = None, copy: bool=False)
    
     *  **data**：指定 Series 中的数据，可以是列表、数组、字典、标量值等。必选参数
     *  **index**：指定 Series 的索引，用于标识和访问数据。
        
        索引可以是列表、数组、范围对象、标量值或其他 Series
        
        如果没有显式指定索引，Pandas 将自动生成一个默认的整数索引
     *  **dtype**：指定 Series 中数据的数据类型。如果不指定，Pandas 将尝试自动推断数据类型
     *  **columns**：指定 DataFrame 的列标签，用于标识和访问列。
        
        列标签可以是列表、数组、范围对象、标量值或其他 Series。
        
        如果没有显式指定列标签，Pandas 将自动生成默认的整数列标签。
     *  **copy**：默认为 False。如果设置为 True，则会复制数据，而不是使用原始数据的引用。
 *  示例：
    
        import pandas as pd
         
        data = {
              'name': ['John', 'Emma', 'Mike', 'Lisa'],
                'age': [28, 24, 32, 35],
                'city': ['New York', 'London', 'Paris', 'Tokyo']}
        df1 = pd.DataFrame(data)
        
        # 通过columns指定DataFrame的列索引
        data = [[1,'Bob', 24, 'American'],[2, 'Nancy', 23, 'Australia'],[3, 'Lili', 22, 'China'],[4, 'Leo', 27, 'M78'],[5, 'David', 24, 'moon']]
        df2 = pd.DataFrame(data, columns=['serial', 'name', 'age', 'from',])
        
        # 自定义索引
        df3 = pd.DataFrame(data, columns=['serial', 'name', 'age', 'from'], index=['a','b','c','d','e'])
        
        # df1 输出结果
           name  age      city
        0  John   28  New York
        1  Emma   24    London
        2  Mike   32     Paris
        3  Lisa   35     Tokyo
        # df3 输出结果
           serial   name  age       from
        a       1    Bob   24   American
        b       2  Nancy   23  Australia
        c       3   Lili   22      China
        d       4    Leo   27        M78
        e       5  David   24       moon

### 常用函数和方法 ###

#### 数据导入和导出 ####

Pandas 可以从多种数据源导入数据，包括 CSV、Excel、SQL 数据库、JSON 等，并且可以将数据导出到这些格式。

*  **pandas.read\_csv()** ：从 CSV 文件导入数据，返回一个 DataFrame 对象（df）
    
    参数说明：
    
     *  **filepath\_or\_buffer** ：CSV 文件路径或文件对象。
     *  sep ：可选，分隔符，默认为逗号
     *  header ：可选，指定哪一行作为列名，默认为第一行
     *  index\_col ：可选，指定哪一列作为索引
 *  **pandas.read\_excel()** ：从 Excel 文件导入数据，返回一个 DataFrame 对象（df）
    
    参数说明：
    
     *  **io** ：Excel 文件路径、文件对象或 URL
     *  sheet\_name ：可选，工作表名称
     *  header ：可选，指定哪一行作为列名，默认为第一行
 *  **df.to\_csv()** ：将数据导出为 CSV 文件
    
    参数说明：
    
     *  **path\_or\_buf** ：导出的文件路径或文件对象
     *  sep ：可选，分隔符，默认为逗号
     *  index ：可选，是否包含索引，默认为 True
 *  **df.to\_excel()** ：将数据导出为 Excel 文件
    
    参数说明：
    
     *  **excel\_writer** ：Excel 文件路径、文件对象或 ExcelWriter 对象
     *  sheet\_name ：可选，工作表名称
     *  index ：可选，是否包含索引，默认为 True
 *  示例
    
        import pandas as pd
        # 从CSV文件导入数据
        df = pd.read_csv('data.csv')
        # 将数据导出到Excel文件
        df.to_excel('data.xlsx', index=False)

#### 数据处理和转换 ####

Pandas 提供了各种方法来处理缺失数据、重复数据、异常数据，以及进行数据变换、筛选和合并不同数据源的数据，包括连接、合并和联接等操作。

*  **df.isnull()** 和 **df.notnull()** ：检测缺失值
 *  **df.drop()** ：删除行或列
 *  **df.dropna()** ：删除包含缺失值的行
 *  **df.drop\_duplicates()** ：删除重复行
 *  **df.fillna(value)** ：填充缺失值
 *  **df.apply(func)** ：应用函数到行或列
 *  **df.groupby(‘column\_name’).mean()** ：分组数据（聚合）
 *  **df.pivot\_table()** ：创建透视表
 *  **df.melt()** ：将宽格式数据转换为长格式
 *  示例
    
        # 聚合操作
        data = [[1,'Bob', 24, 'high-school'],[2, 'Nancy', 23, 'college'],[3, 'Lili', 22, 'college']]
        df = pd.DataFrame(data, columns=['serial', 'name', 'age', 'grade'], index=['a','b','c'])
        # 聚合，按grade分组，并计算分组后的平均年龄
        xdf = df.groupby('grade')['age'].mean()
        
        # 透视表
        pd.pivot_table(df, values='value_column', index='index_column', columns='column_to_pivot')
        # 应用自定义函数
        df.apply(custom_function, axis=1)

#### 数据合并和拆分 ####

*  **pd.concat()** ：用于合并行（纵向堆叠）或列（横向连接）数据，通常用于连接不同数据集的行或列，但不执行基于列的合并，不对数据重复值进行检查或处理，只是简单地将数据堆叠在一起
    
    主要参数说明：
    
     *  **objs** ：要合并的数据对象列表，可以是 DataFrame 或 Series 的列表。唯一的必选参数
     *  **axis** ：指定合并的轴方向。默认为 `0`，表示按行合并（纵向堆叠），如果设置为 `1`，表示按列合并（横向连接）
     *  **join** ：指定连接的方式，默认为 `'outer'`。可以取以下值：
        
         *  `'outer'`：执行外连接，保留所有的行或列，并使用缺失值填充不存在的数据。
         *  `'inner'`：执行内连接，只保留共有的行或列。
     *  **ignore\_index** ：默认为 `False`。如果设置为 `True`，将忽略原始索引，创建新的连续整数索引。
     *  **keys** ：用于创建层次化索引的标签，可以是字符串、列表或数组。如果提供了 keys，将创建 MultiIndex。
    
    \*\*适用场景：\*\*主要用于简单的数据堆叠操作，合并来自不同来源或处理方式的数据，如将多个相似的数据集按行堆叠在一起，或者将不同数据集的列拼接在一起
 *  **pd.merge()** ：用于基于列的合并，类似于 SQL 中的 JOIN 操作，用于将两个或多个数据框（DataFrame）根据一个或多个共享的列进行连接。
    
    `pd.merge()` 通常会检查连接列中是否有重复值，并根据连接类型执行不同的处理操作，如 INNER JOIN、LEFT JOIN、RIGHT JOIN 或 FULL JOIN。
    
    主要参数说明：
    
     *  **left**：左侧的 DataFrame，用于合并的左侧数据。
     *  **right**：右侧的 DataFrame，用于合并的右侧数据。
     *  **how**：指定连接方式，默认为 `'inner'`。可以取以下值：
        
         *  `'inner'`：执行内连接，只保留两个 DataFrame 中共有的行。
         *  `'outer'`：执行外连接，保留两个 DataFrame 中的所有行，缺失值用 NaN 填充。
         *  `'left'`：执行左连接，保留左侧 DataFrame 中的所有行，右侧 DataFrame 中没有匹配的行用 NaN 填充。
         *  `'right'`：执行右连接，保留右侧 DataFrame 中的所有行，左侧 DataFrame 中没有匹配的行用 NaN 填充。
     *  **on**：用于连接的列名（左右两侧 DataFrame 中具有相同名称的列）。可以是单个列名的字符串，或者是列名的列表（如果需要多列连接）。
     *  **left\_on**：左侧 DataFrame 中用于连接的列名，如果左右两侧的连接列名称不同，可以使用该参数指定左侧的列名。
     *  **right\_on**：右侧 DataFrame 中用于连接的列名，如果左右两侧的连接列名称不同，可以使用该参数指定右侧的列名。
     *  **left\_index**：默认为 `False`。如果设置为 `True`，则使用左侧 DataFrame 的索引作为连接键。
     *  **right\_index**：默认为 `False`。如果设置为 `True`，则使用右侧 DataFrame 的索引作为连接键。
     *  **suffixes**：默认为 `('_x', '_y')`。用于处理重叠列名的后缀字符串元组，可以指定在列名冲突时添加到列名末尾。
     *  **sort**：默认为 `False`。如果设置为 `True`，在合并后对结果进行排序。
     *  **copy**：默认为 `True`。如果设置为 `False`，尝试在不复制数据的情况下执行连接操作，可以提高性能。
    
    \*\*适用场景：\*\*主要用于更复杂的基于列的数据连接和合并操作，基于共享列合并来自不同数据集的数据，通常用于数据关联、数据连接和数据库风格的合并操作。
 *  **pd.join()** ：函数根据索引或列的值进行连接
 *  **df.split()** ：将包含多个值的单个列拆分成多个列，从而使数据更加规整和易于处理
 *  示例：
    
        # 合并两个DataFrame
        merged_df = pd.concat([df1, df2], axis=0)
        # 数据库风格的连接
        merged_df = pd.merge(df1, df2, on='key_column')

#### 数据查看和概览 ####

*  **df.head(n)** ：查看 DataFrame 的前 n 行，默认为 5 行
 *  **df.tail(n)** ：查看 DataFrame 的后 n 行，默认为 5 行
 *  **df.info()** ：查看 DataFrame 的基本信息，包括数据类型和非空值数量
 *  **df.describe()** ：生成描述性统计信息，包括均值、标准差等

#### 数据选择和检索 ####

*  **df\[‘column\_name’\]** ：选择单列
 *  **df\[\[‘col1’, ‘col2’\]\]** ：选择多列
 *  **df.loc\[row\_label\]** ：使用标签选择行
 *  **df.iloc\[row\_index\]** ：使用整数索引选择行
 *  **df.query()** ：使用条件查询数据
 *  示例：
    
        # 选择列：可以使用列名或列索引来选择列。
        df['name']
        # 选择行：可以使用行索引来选择行。
        df.loc['a']
        # 切片方式访问。访问第二行到第三行数据
        df.iloc[1:3]

#### 数据筛选和过滤 ####

*  **df\[df\[‘column\_name’\] > value\]** ：按条件筛选行
 *  **df\[(condition1) & (condition2)\]** ：使用逻辑运算符筛选行
 *  示例
    
        # 过滤行：可以使用条件表达式来过滤行。
        df[df['age'] > 30]

#### 数据排序和排名 ####

*  **df.sort\_values(‘column\_name’)** ：按列值排序
 *  **df.sort\_index()** ：按索引排序
 *  **df.rank()** ：为数据分配排名
 *  示例：
    
        df = df.sort_values(by='age', ascending=False)

#### 时间序列处理 ####

Pandas 对时间序列数据提供了强大的支持，包括日期解析、时间索引和滚动窗口操作。

*  **pd.to\_datetime(arg, format)** ：将字符串转换为日期时间类型
    
     *  arg ：日期时间字符串、时间戳、Series 等
     *  format ：可选，指定日期时间格式
 *  **df.resample()** ：重采样时间序列数据
 *  **df.shift(periods, freq)** ：平移时间序列数据
 *  示例：
    
        # 解析日期列
        df['date_column'] = pd.to_datetime(df['date_column'])
        # 创建时间索引
        df.set_index('date_column', inplace=True)
        # 滚动窗口操作
        df['rolling_mean'] = df['value_column'].rolling(window=3).mean()

#### 数据可视化 ####

Pandas 整合了 Matplotlib 库，可以轻松地可视化数据。

*  **df.plot()** ：绘制数据可视化图表
    
     *  可以通过参数指定图表类型（例如，‘line’、‘bar’、‘scatter’ 等）和其他绘图选项
 *  **df.hist()** ：绘制直方图
    
     *  可以通过参数指定直方图的柱数、颜色等
 *  **df.boxplot()** ：绘制箱线图
    
     *  可以通过参数指定是否显示
 *  示例：
    
        import matplotlib.pyplot as plt
        # 创建柱状图
        df['column_name'].plot(kind='bar')
        # 创建散点图
        df.plot.scatter(x='x_column', y='y_column')
        # 更多的可视化选项可以结合使用 Pandas 和 Matplotlib

### 高级用法 ###

#### 多级索引 ####

*  Pandas 的多级索引功能非常强大，它允许在一个 DataFrame 中创建复杂的层次结构索引，从而更灵活地组织和分析数据。
    
    一个常见的应用场景是使用多级索引来表示时间序列数据，比如将年份和季度作为索引的两个层级。
 *  通过创建多级索引，可以将数据按照不同的层级进行划分和聚合。
    
    例如，可以根据年份来对数据进行分组，然后在每个年份内再按照季度进行分组。这样，可以更方便地进行各种统计分析，比如计算每个季度的平均值、总和等。
 *  在创建多级索引时，可以使用 Pandas 的 MultiIndex 类来指定索引的层级和标签。
    
    通过指定层级的名称和对应的标签值，可以轻松地创建一个具有多级索引的 DataFrame。
 *  使用多级索引可以带来很多好处，比如提高数据的查询效率、简化数据的操作和分析等。
    
    但同时，也需要注意在使用多级索引时，要避免索引混淆和数据结构复杂度过高的问题。
    
    因此，在使用多级索引时，需要根据具体的需求和数据特点来灵活应用。
 *  示例：
    
        import pandas as pd
         
        # 创建多级索引
        index = pd.MultiIndex.from_tuples([('2019', 'Q1'), ('2019', 'Q2'), ('2020', 'Q1'), ('2020', 'Q2')])
        data = pd.DataFrame({
              'Sales': [100, 200, 150, 250]}, index=index)
        # 查询特定季度的销售数据
        print(data.loc[('2020', 'Q1')])
        print("==================")
        # 查询特定年份的销售数据
        print(data.loc['2020'])
        
        # 输出结果：
        Sales    150
        Name: (2020, Q1), dtype: int64
        ==================
            Sales
        Q1    150
        Q2    250

#### 透视表 ####

*  透视表是一种根据数据中的一个或多个列创建汇总表格的方法。
    
    Pandas 提供了 `pivot_table()` 函数，可以方便地对数据进行聚合和分析。
    
    通过 `pivot_table()` 函数，可以指定一个或多个列作为行索引，另一个或多个列作为列索引，然后根据指定的聚合函数对数据进行汇总。这样，就可以快速计算出各个行和列对应的统计量，比如平均值、总和、计数等。
 *  Pandas 的透视表功能提供了一种方便、灵活的数据聚合和分析方法，可以帮助更好地理解和利用数据。
    
    透视表的好处在于它提供了一种直观、简洁的方式来查看和分析数据。
    
    通过透视表，可以轻松地对数据进行切片、切块和筛选，从而更深入地了解数据的特征和关系。
 *  使用透视表时，可以根据具体的需求选择合适的聚合函数、行列索引和筛选条件，以获取想要的分析结果。
    
    透视表不仅适用于单个 DataFrame，还可以用于多个 DataFrame 的合并和分析。
 *  示例：
    
        import pandas as pd
         
        # 创建一个包含销售数据的DataFrame
        data = pd.DataFrame({
              'Year': ['2019', '2019', '2020', '2020'],
                             'Quarter': ['Q1', 'Q2', 'Q1', 'Q2'],
                             'Product': ['A', 'B', 'A', 'B'],
                             'Sales': [100, 200, 150, 250]})
        # 创建透视表
        pivot_table = data.pivot_table(index='Year', columns='Quarter', values='Sales', aggfunc='sum')
        # 打印透视表
        print(pivot_table)
        
        # 输出结果
        Quarter   Q1   Q2
        Year
        2019     100  200
        2020     150  250

#### 时间序列分析 ####

*  在处理时间序列数据方面，Pandas 提供了灵活且高效的功能。
    
    它的日期和时间处理功能包括日期范围生成、日期索引、日期加减运算、日期格式化等。可以轻松地创建日期范围，并使用这些日期作为数据的索引，便于对时间序列数据进行操作和分析。
 *  Pandas 还支持重采样操作，可以将时间序列数据从一个频率转换为另一个频率。
    
    例如，可以将按天采样的数据转换为按月采样的数据，或者将按小时采样的数据转换为按分钟采样的数据。重采样功能允许根据需要灵活地调整数据的粒度和频率。
 *  Pandas 还提供了滑动窗口操作，可以在时间序列数据上执行滑动窗口统计计算。
    
    可以定义窗口的大小和滑动的步长，并针对窗口内的数据进行汇总、聚合或其他计算操作。这对于处理时间序列数据中的移动平均值、滚动求和等任务非常有用。
 *  示例：
    
        import pandas as pd
         
        # 创建一个包含时间序列数据的DataFrame
        df = pd.DataFrame({
              'Date': pd.date_range(start='2020-01-01', periods=10),
                           'Sales': [100, 200, 150, 250, 180, 120, 300, 350, 400, 250]})
         
        # 将日期列设置为索引
        df.set_index('Date', inplace=True)
        # 计算每周销售总额
        weekly_sales = df.resample('W').sum()
        # 打印每周销售总额
        print(weekly_sales)

#### 处理 Excel 文件 ####

*  当使用 Pandas 处理 Excel 文件时，可以使用 `read_excel()` 函数来读取 Excel 数据，并将其加载到一个 DataFrame 中。
    
    然后可以对读取的数据进行各种操作和处理，例如筛选特定列的数据、根据条件筛选数据、对数据进行排序，在 DataFrame 中添加了新的列等等。
 *  示例：
    
        import pandas as pd
         
        # 读取Excel文件
        df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
         
        # 显示DataFrame的前几行数据
        print(df.head())
        
        # 筛选特定列数据
        selected_columns = ['Name', 'Age']
        filtered_data = df[selected_columns]
         
        # 按条件筛选数据
        condition = df['Age'] > 25
        filtered_data = df[condition]
         
        # 数据排序
        sorted_data = df.sort_values(by='Age', ascending=False)
         
        # 添加新列
        df['Gender'] = ['Male', 'Female', 'Male', 'Female', 'Male']
         
        # 写入到新的Excel文件
        df.to_excel('new_data.xlsx', index=False)