Numpy 对战 Pandas 之CSV文件读取效率

爱被打了一巴掌 2023-07-24 08:43 58阅读 0赞

### Numpy 对战 Pandas 之CSV文件读取效率 ###

*  1. Numpy.loadtxt()
 *  2. Pandas.read\_csv()
 *  3. 总结
 *  4. 意外发现

本文旨在分析Numpy读取CSV文件和Pandas读取CSV文件的对比。  
![在这里插入图片描述][20200410135158786.png_x-oss-process_image]

# 1. Numpy.loadtxt() #

[官网教程-Numpy.loadtxt()][-Numpy.loadtxt]  
使用numpy中的`loadtxt()`方法可以很方便的读取文件，代码如下：

import time
    import numpy as np
    path = r"C:\Users\hewenyong\Desktop\csv\csv_folder\2.csv"
    
    start = time.clock()  # 起始时间
    dataset = np.loadtxt(path, dtype=np.str, delimiter=',') # 读取文件
    test_dict = {
        }
    data = dataset.tolist()
    for item in data:
        print(item)
    end = time.clock()  # 结束时间
    
    print(str(end-start))

**结果如下：**  
红色框起来的为**整个读取csv文件的的时间**，大约`0.106秒`，（上面还有一大堆打印的结果就没粘贴出来）  
![Numpy.loadtxt()读取文件时间结果图][Numpy.loadtxt]

--------------------

# 2. Pandas.read\_csv() #

[官网教程-Pandas.read\_csv()][-Pandas.read_csv]  
这是`pandas.read_csv()`方法的基本使用过程，代码如下：

import time
    path = r"C:\Users\hewenyong\Desktop\csv\csv_folder\2.csv"
    
    start = time.clock()
    with open(path, 'r', encoding='UTF-8') as f:
        dataset = pd.read_csv(f, header=None)
    for index,row in dataset.iterrows():
        print(row[0],row[1])
    
    end = time.clock()
    
    print(str(end-start))

结果如下：  
可以看到耗时大约`0.386s`  
![在这里插入图片描述][20200410141324682.png]

--------------------

# 3. 总结 #

**结论：**  
从上面结果图可以看到我们考虑从csv文件的读取，到遍历每一行数据完成。  
`numpy.load_txt()`更胜一筹。

--------------------

# 4. 意外发现 #

由于`print函数`等中间操作存在效率影响，所以将中间操作代码直接注释，只考虑文件读取过程，发现，结果恰恰相反，pandas.read\_csv()时间更短。  
结果如下表格：

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>numpy.load_txt()</th> 
   <th>pandas.read_csv()</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>打按行印所有数据</td> 
   <td>0.106秒</td> 
   <td>0.386s</td> 
  </tr> 
  <tr> 
   <td>只考虑文件读取</td> 
   <td>0.0107秒</td> 
   <td>0.0029s</td> 
  </tr> 
 </tbody> 
</table>

因此，具体使用没有绝对，还是看场景。

*  论直接读取csv，pandas可能更快；
 *  但是当我们需要遍历每一行数据，则numpy更快。

开心，又Get到编程的快乐。  
加油！

[20200410135158786.png_x-oss-process_image]: /images/20230528/dbf667ae563b4178b511ee0217c69204.png
[-Numpy.loadtxt]: https://docs.scipy.org/doc/numpy/reference/generated/numpy.loadtxt.html
[Numpy.loadtxt]: /images/20230528/fe0fc5a7dfe24a7f800d9b061782c8bb.png
[-Pandas.read_csv]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
[20200410141324682.png]: /images/20230528/ed09943fac2144bbb97a80424f7cf77c.png