数据分析利器 pandas 系列教程（三）：读写文件三十六计

约定不等于承诺〃 2023-02-20 02:38 60阅读 0赞

前面我们学完了 pandas 中最重要的两个数学结构：Series 和 DataFrame，今天来侃侃 pandas 读写文件的那些 tricks，我有十足的信心，大家看了定会有所收获。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center]

### 读写 csv 的正确姿势 ###

假如要保存下面这个 DataFrame

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 1]

保存到 csv 中，我常用的一行代码是：

df.to_csv('exam_result.csv', index=False, encoding='utf-8-sig')

第一个参数是保存的文件名，第二个参数是不保存 index 索引，第三个参数是指定保存的编码格式。

基于实践是检验真理的唯一标准原则，先做一组不保存/保存 index 索引列的对比实验。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 3]

再用 pd.read\_csv 分别读这两个文件，如果读取了没有保存了 index 索引的，直接用下面这行代码即可

df = pd.read_csv('exam_result.csv')

如果是读取了保存了 index 索引列的，用上面这句讲道理也不会报错，但是会多出了一个 `'Unnamed:0'`列，稍不注意，就会对 iloc 等后续操作造成影响，所以必须去掉这一列，可加一个参数 index\_col = 0。

总结来说，读写 csv，有下面两种组合方式

# wirte of way1
    df.to_csv('exam_result.csv', index=False, encoding='utf-8-sig')
    # read of way1
    df = pd.read_csv('exam_result.csv')

# write of way2
    df.to_csv('exam_result.csv', encoding='utf-8-sig')
    # read of way2
    df = pd.read_csv('exam_result.csv', index_col=0)

至于 encoding 这个参数，为什么取 utf-8-sig 呢？，常见的还有 utf-8，这两者区别联系何在？

*  utf-8 是以字节为编码单元，它的字节顺序在所有系统中都是一样的，没有字节序问题，因此它不需要 BOM，所以当用 utf-8 编码方式读取带有 BOM 的文件时，它会把 BOM 当做是文件内容来处理, 就会报错。
 *  uft-8-sig 中 sig 全拼为 signature 也就是 带有签名的 utf-8，因此 utf-8-sig 读取带有 BOM 的 utf-8 文件时会把 BOM 单独处理，与文本内容隔离开，也是我们期望的结果。

由于 Windows 下如果设置为 utf-8，用 Office Excel 打开的话会发现中文乱码，因为 Excel 默认这个文件是有 BOM 的（BOM 是微软提出的，必然要在自家产品上推广），实际上没有，一来二去就乱码了，使用 utf-8-sig 可以有效避免这个问题。

### 不止 csv 和 excel ###

常用的都是 read\_csv/to\_csv/read\_excel/to\_excel 这四个来实现读写 csv/excel，实际上常用的还有 json 和 html 两种形式。

##### json 读写示例 #####

df.to_json('exam_result.json')
    df = pd.read_json('exam_result.json')

exam\_result.json 内容如下：

![在这里插入图片描述][20200622125045847.png_pic_center]

实际上所有的内容都在一行，为了方便截图，我展开成了六行；其中 ‘0’，‘1’ 等是 index 而不是下标，注意区分。

##### html 读写示例 #####

df.to_html('exam_result.html')
    df = pd.read_html('exam_result.html')

exam\_result.html 用浏览器打开如下：

![在这里插入图片描述][20200622125059168.png_pic_center]

##### 为什么叫 csv #####

csv 全称 Comma Separated Values，即逗号分隔值，见名知意，每行各个字段是以逗号分隔的。

![在这里插入图片描述][20200622125112542.png_pic_center]

常见的还有 tsv，即 Tab 制表符分隔，其实，这个分隔符，我们可以自定义，以 ！、&、@ 等字段值中几乎不会出现的字符为宜，如果是字母 a、b、c，容易造成混乱。无论是 csv、tsv 还是 ?sv，都封装在 read\_csv() 中，以 sep 参数值作为区分。

df.to_csv('exam_result.msv', sep='@', index=False, encoding='utf-8-sig')
    df = pd.read_csv('exam_result.msv', sep='@')

msv 后缀是我随便起的，只要保证读写文件名相同即可。

![在这里插入图片描述][2020062212512737.png_pic_center]

### 读不太规范的 csv ###

一个不格式太规范的 csv 举例如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 4]

不规范之处在于内容没有从表格的左上角开始，如果 `df = pd.read_csv('exam_result.csv')`这样读，打印的 dataframe 如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 5]

这个时候，参数 skiprows（跳过前几行）和 usecols (只取哪些列) 就派上用场了。

df = pd.read_csv('exam_result.csv', skiprows=2,usecols=['name','sex','course','grade'])

派上用场了。

df = pd.read_csv('exam_result.csv', skiprows=2,usecols=['name','sex','course','grade'])

活学活用，利用 usecols，还可以解决前面所说的读取保存了 index 的 csv，出现 Unnamed: 0 的问题。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20200622124943824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20200622124959534.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20200622125028742.PNG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20200622125028699.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center
[20200622125045847.png_pic_center]: https://img-blog.csdnimg.cn/20200622125045847.png#pic_center
[20200622125059168.png_pic_center]: https://img-blog.csdnimg.cn/20200622125059168.png#pic_center
[20200622125112542.png_pic_center]: https://img-blog.csdnimg.cn/20200622125112542.png#pic_center
[2020062212512737.png_pic_center]: https://img-blog.csdnimg.cn/2020062212512737.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20200622125140929.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20200622125152707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lnZHh0,size_16,color_FFFFFF,t_70#pic_center