python 加速csv读取速度_与从CSVfile导出和导入相比，Python MySQLdb SScursor速度较慢。可能加速吗？...

蔚落 2022-10-22 11:51 44阅读 0赞

作为构建数据仓库的一部分，我必须在源数据库表中查询大约7500万行。

我想对7500万行进行一些处理，然后将结果添加到另一个数据库中。现在，这是相当多的数据，我已经成功地运用了两种方法：

1)使用“选择…”将查询导出到CSV文件。。。并使用python的fileinput模块读取它，以及

2)使用MySQLdb的SScursor连接到MySQL数据库(默认游标将查询放入内存中，杀死python脚本)，然后以大约10k行的块(这是我发现的最快的块大小)获取结果。

第一种方法是“手动”执行SQL查询(大约需要6分钟)，然后是python脚本读取csv文件并对其进行处理。我使用fileinput读取文件的原因是fileinput不会从一开始就将整个文件加载到内存中，并且可以很好地处理较大的文件。只需遍历文件(读取文件中的每一行并调用pass)大约需要80秒，即1M行/秒

第二种方法是使用python脚本执行相同的查询(也需要大约6分钟，或者稍长一点)，然后执行while循环，在SScursor中有任何剩余的行时提取这些行。在这里，仅仅读取行(获取一个又一个块而不做任何其他操作)大约需要15分钟，或者大约85k行/秒

上面的两个数字(行/秒)可能并不具有可比性，但在我的应用程序中对这两种方法进行基准测试时，第一种大约需要20分钟(其中大约5分钟是MySQL转储到CSV文件中)，第二种大约需要35分钟(其中大约5分钟是执行查询)。这意味着转储和读取CSV文件的速度大约是直接使用SScursor的两倍。

如果不限制系统的可移植性，这将是没有问题的：一个“选择。。。INTO”语句要求MySQL具有写权限，我怀疑这不如使用游标安全。另一方面，15分钟(并且随着源数据库的增长而增长)并不是每次构建都能节省的时间。

那么，我是不是错过了什么？是否有任何已知的原因导致SScursor比转储/读取CSV文件慢得多，以至于在SScursor没有的情况下，fileinput是C优化的？有什么办法解决这个问题吗？有什么要测试的吗？我相信SScursor可以和第一种方法一样快，但是在阅读了关于这个问题的所有信息之后，我被难住了。

现在，对于代码：

并不是说我认为查询有任何问题(它与我所要求的一样快，而且在这两种方法中所花费的时间相似)，但为了完整起见：SELECT LT.SomeID, LT.weekID, W.monday, GREATEST(LT.attr1, LT.attr2)

FROM LargeTable LT JOIN Week W ON LT.weekID = W.ID

ORDER BY LT.someID ASC, LT.weekID ASC;

第一种方法中的主要代码如下所示

^\{pr2\}$

第二种方法的主要代码是：import MySQLdb

...opening connection, defining SScursor called ssc...

CHUNK\_SIZE = 100000

query\_stmt = """SELECT LT.SomeID, LT.weekID, W.monday,

GREATEST(LT.attr1, LT.attr2)

FROM LargeTable LT JOIN Week W ON LT.weekID = W.ID