【Pandas基础教程】第02讲 Pandas读取数据

谁借莪１个温暖的怀抱￠ 2022-12-30 03:59 255阅读 0赞

### 目录 ###

*  1. 读取纯文本文件
 *  2. 读取Excel文件
 *  3. 读取MySQL数据库
 *  4. 数据库魔法命令

# 1. 读取纯文本文件 #

`pd.read_csv()` 用于读取csv、tsv、txt等纯文本文件，csv以逗号分隔，tsv以制表符分隔，txt的分隔符任意。

pd.read_csv(
        filepath_or_buffer: FilePathOrBuffer,  # 文件路径
        sep=",",                               # 分隔符
        header="infer",                        # 列名
        names=None,                            # 自定义列名
        index_col=None,                        # 索引名
        dtype=None,                            # 数据类型
        engine=None,                           # 解析器引擎
        converters=None,                       # 函数转换
        encoding=None,                         # 文件编码
        skipinitialspace=False,                # 是否忽略分隔符后的空白
        skiprows=None,                         # 从文件头部忽略的行数
        skipfooter=0,                          # 从文件尾部忽略的行数
        nrows=None,                            # 读取的行数
        error_bad_lines=True,                  # 是否处理错误行
    )

*  **filepath\_or\_buffer**：str, path object or file-like object。**字符串路径、路径对象或类文件对象**，包括本地文件路径（例如 `./datas/1.csv`）、URL地址（http、ftp、s3、gs和file）等；
 *  **sep**：str, default ‘,’。**指定分隔符**；
 *  **header**：int, list of int, default ‘infer’。**指定行数作为列名**，开始读取数据的行数。`header=None` 没有列名，自动设置为数字编号；`header=0` 以第一行作为列名；可以传入一个列表，形成多重列名，列表中未指定的中间行将被跳过；
 *  **names**：array-like, optional。**自定义列名**；
 *  **index\_col**：int, str, sequence of int / str, or False, default None，**指定列数/列名作为索引名**，可以传入一个序列，形成多重索引；
 *  **dtype**：Type name or dict of column -> type, optional，**指定各列的数据类型**，例如 `{'a': np.float64, 'b': np.int32}`；
 *  **engine**：\{‘c’, ‘python’\}, optional，**指定解析器引擎**；
 *  **converters**：dict, optional，**对某些列进行函数转换**，例如 `{'金额': lambda x: x+1, '交易量': lambda x: x*2}`；
 *  **encoding**：str, optional，**指定文件编码**；
 *  **skipinitialspace**：bool, default False，**是否忽略分隔符后的空白**；
 *  **skiprows**：list-like, int or callable, optional，**从文件头部忽略的行数**；
 *  **skipfooter**：int, default 0，**从文件尾部忽略的行数**；
 *  **nrows**：int, optional，**指定读取的行数**，用于读取部分数据；
 *  **error\_bad\_lines**：bool, default，**是否处理错误行**，如果值为True，遇到错误行时终止执行，且不会返回任何结果；如果值为False，则跳过错误行继续解析；

> C引擎解析速度更快，Python引擎功能更完善。如果分隔符为None，C引擎无法自动检测分隔符，强制使用Python引擎，它调用Python内置嗅探器工具`csv.Sniffer`检测分隔符。此外，超过1个字符且不同于 `\s+` 的分隔符将被视为正则表达式，C引擎不能解析正则表达式，强制使用Python引擎。

默认情况下，包含太多字段的行（例如，带有太多逗号的csv行）会引发异常  
并且不会返回任何DataFrame如果为False，则这些“坏行”将从返回的DataFrame中删除。

# 2. 读取Excel文件 #

`pd.read_excel()` 用于读取Excel文件，包括xls、xlsx、xlsm、xlsb、odf、ods和odt等。

pd.read_excel(
        io,              # 文件路径
        sheet_name=0,    # 工作表
        header=0,        # 列名
        names=None,      # 自定义列名
        index_col=None,  # 索引名
        dtype=None,      # 数据类型
        engine=None,     # 解析器引擎
        converters=None, # 函数转换
        skiprows=None,   # 从文件头部忽略的行数
        skipfooter=0,    # 从文件尾部忽略的行数
        nrows=None,      # 读取的行数
    ):

*  **io**：str, bytes, ExcelFile, xlrd.Book, path object, or file-like object，**字符串路径、路径对象或类文件对象**，包括本地文件路径（例如 `./datas/1.xls`）、URL地址（http、ftp、s3、gs和file）等；
 *  **sheet\_name**：str, int, list, or None, default 0，**指定工作表**，可以是多张工作表，返回字典，`sheet_name=None`获取所有工作表；
 *  **engine**：str, default None，**指定解析器引擎**，必须与文件类型相匹配，包括xlrd、openpyxl、odf和pyxlsb等。

# 3. 读取MySQL数据库 #

`pd.read_sql()` 用于读取MySQL数据库，它是 `read_sql_table()` 和 `read_sql_query()` 的便捷封装，根据输入情形委派给特定函数。

pd.read_sql(
        sql,             # 查询语句
        con,             # 数据库连接
        index_col=None,  # 索引名
    )

*  sql：str or SQLAlchemy Selectable (select or text object)，**查询语句**；
 *  con：SQLAlchemy connectable, str, or sqlite3 connection，**指定数据库连接**；

# 4. 数据库魔法命令 #

%load_ext sql
    %sql mysql+pymysql://username:password@localhost/database_name
    data = %sql select * from table_name
    df = data.DataFrame()