Python技巧：Python 如何实现并行化

迈不过友情╰ 2024-03-26 22:25 154阅读 0赞

![e2fb4624c97a44b6be343b1aad5a3b65.png][]

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。常见的经典 Python [多线程][Link 1]、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。

### 传统的例子 ###

简单搜索下"Python 多线程教程"，不难发现几乎所有的教程都给出涉及类和[队列][Link 2]的例子：

1.  `import os`
2.  `import PIL`
3.  
4.  `from multiprocessing importPool`
5.  `from PIL importImage`
6.  
7.  `SIZE = (75,75)`
8.  `SAVE_DIRECTORY = "thumbs"`
9.  
10. `def get_image_paths(folder):`
11. `return(os.path.join(folder, f)`
12. `for f in os.listdir(folder)`
13. `if"jpeg"in f)`
14. 
15. `def create_thumbnail(filename):`
16. `im = Image.open(filename)`
17. `im.thumbnail(SIZE, Image.ANTIALIAS)`
18. `base, fname = os.path.split(filename)`
19. `save_path = os.path.join(base, SAVE_DIRECTORY, fname)`
20. `im.save(save_path)`
21. 
22. `if __name__ == "__main__":`
23. `folder = os.path.abspath(`
24. `"11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840")`
25. `os.mkdir(os.path.join(folder, SAVE_DIRECTORY))`
26. 
27. `images = get_image_paths(folder)`
28. 
29. `pool = Pool()`
30. `pool.map(creat_thumbnail, images)`
31. `pool.close()`
32. `pool.join()`

哈，看起来有些像 Java 不是吗？

我并不是说使用生产者/消费者模型处理多线程/多进程任务是错误的（事实上，这一模型自有其用武之地）。只是，处理日常脚本任务时我们可以使用更有效率的模型。

### 问题在于… ###

首先，你需要一个样板类；其次，你需要一个队列来传递对象；而且，你还需要在通道两端都构建相应的方法来协助其工作（如果需想要进行双向通信或是保存结果还需要再引入一个队列）。

### worker 越多，问题越多 ###

按照这一思路，你现在需要一个 worker 线程的线程池。下面是一篇 IBM 经典教程中的例子——在进行网页检索时通过多线程进行加速。

1.  `#Example2.py`
2.  `"""`
3.  `A more realistic thread pool example`
4.  `"""`
5.  
6.  `import time`
7.  `import threading`
8.  `importQueue`
9.  `import urllib2`
10. 
11. `classConsumer(threading.Thread):`
12. `def __init__(self, queue):`
13. `threading.Thread.__init__(self)`
14. `self._queue = queue`
15. 
16. `def run(self):`
17. `whileTrue:`
18. `content = self._queue.get()`
19. `if isinstance(content, str) and content == "quit":`
20. `break`
21. `response = urllib2.urlopen(content)`
22. `print"Bye byes!"`
23. 
24. `defProducer():`
25. `urls = [`
26. `"http://www.python.org", "http://www.yahoo.com"`
27. `"http://www.scala.org", "http://www.google.com"`
28. `# etc..`
29. `]`
30. `queue = Queue.Queue()`
31. `worker_threads = build_worker_pool(queue, 4)`
32. `start_time = time.time()`
33. 
34. `# Add the urls to process`
35. `for url in urls:`
36. `queue.put(url)`
37. `# Add the poison pillv`
38. `for worker in worker_threads:`
39. `queue.put("quit")`
40. `for worker in worker_threads:`
41. `worker.join()`
42. 
43. `print"Done! Time taken: {}".format(time.time() - start_time)`
44. 
45. `def build_worker_pool(queue, size):`
46. `workers = []`
47. `for _ in range(size):`
48. `worker = Consumer(queue)`
49. `worker.start()`
50. `workers.append(worker)`
51. `return workers`
52. 
53. `if __name__ == "__main__":`
54. `Producer()`

这段代码能正确的运行，但仔细看看我们需要做些什么：构造不同的方法、追踪一系列的线程，还有为了解决恼人的死锁问题，我们需要进行一系列的 join 操作。这还只是开始……

至此我们回顾了经典的多线程教程，多少有些空洞不是吗？样板化而且易出错，这样事倍功半的风格显然不那么适合日常使用，好在我们还有更好的方法。

### 何不试试 map ###

map 这一小巧精致的函数是简捷实现 Python 程序并行化的关键。map 源于 Lisp 这类函数式编程语言。它可以通过一个序列实现两个函数之间的映射。

1.  `urls = ["http://www.yahoo.com", "http://www.reddit.com"]`
2.  `results = map(urllib2.urlopen, urls)`

上面的这两行代码将 urls 这一序列中的每个元素作为参数传递到 urlopen 方法中，并将所有结果保存到 results 这一列表中。其结果大致相当于：

1.  `results = []`
2.  `for url in urls:`
3.  `results.append(urllib2.urlopen(url))`

map 函数一手包办了序列操作、参数传递和结果保存等一系列的操作。

为什么这很重要呢？这是因为借助正确的库，map 可以轻松实现并行化操作。

在 Python 中有个两个库包含了 map 函数：multiprocessing 和它鲜为人知的子库 multiprocessing.dummy.

这里多扯两句：multiprocessing.dummy？mltiprocessing 库的线程版克隆？这是虾米？即便在 multiprocessing 库的官方文档里关于这一子库也只有一句相关描述。而这句描述译成人话基本就是说:"嘛，有这么个东西，你知道就成."相信我，这个库被严重低估了！

dummy 是 multiprocessing 模块的完整克隆，唯一的不同在于 multiprocessing 作用于进程，而 dummy 模块作用于线程（因此也包括了 Python 所有常见的多线程限制）。所以替换使用这两个库异常容易。你可以针对 IO 密集型任务和 CPU 密集型任务来选择不同的库。

### 动手尝试 ###

使用下面的两行代码来引用包含并行化 map 函数的库：

1.  `from multiprocessing importPool`
2.  `from multiprocessing.dummy importPoolasThreadPool`

实例化 Pool 对象：

1.  `pool = ThreadPool()`

这条简单的语句替代了 example2.py 中 buildworkerpool 函数 7 行代码的工作。它生成了一系列的 worker 线程并完成初始化工作、将它们储存在变量中以方便访问。

Pool 对象有一些参数，这里我所需要关注的只是它的第一个参数：processes. 这一参数用于设定线程池中的线程数。其默认值为当前机器 CPU 的核数。

一般来说，执行 CPU 密集型任务时，调用越多的核速度就越快。但是当处理网络密集型任务时，事情有有些难以预计了，通过实验来确定线程池的大小才是明智的。

pool = ThreadPool(4) \# Sets the pool size to 4 线程数过多时，切换线程所消耗的时间甚至会超过实际工作时间。对于不同的工作，通过尝试来找到线程池大小的最优值是个不错的主意。

创建好 Pool 对象后，并行化的程序便呼之欲出了。我们来看看改写后的 example2.py

1.  `import urllib2`
2.  `from multiprocessing.dummy importPoolasThreadPool`
3.  
4.  `urls = [`
5.  `"http://www.python.org",`
6.  `"http://www.python.org/about/",`
7.  `"http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html",`
8.  `"http://www.python.org/doc/",`
9.  `"http://www.python.org/download/",`
10. `"http://www.python.org/getit/",`
11. `"http://www.python.org/community/",`
12. `"https://wiki.python.org/moin/",`
13. `"http://planet.python.org/",`
14. `"https://wiki.python.org/moin/LocalUserGroups",`
15. `"http://www.python.org/psf/",`
16. `"http://docs.python.org/devguide/",`
17. `"http://www.python.org/community/awards/"`
18. `# etc..`
19. `]`
20. 
21. `# Make the Pool of workers`
22. `pool = ThreadPool(4)`
23. `# Open the urls in their own threads`
24. `# and return the results`
25. `results = pool.map(urllib2.urlopen, urls)`
26. `#close the pool and wait for the work to finish`
27. `pool.close()`
28. `pool.join()`
29. `实际起作用的代码只有 4行，其中只有一行是关键的。map 函数轻而易举的取代了前文中超过 40行的例子。为了更有趣一些，我统计了不同方法、不同线程池大小的耗时情况。`
30. 
31. `# results = []`
32. `# for url in urls:`
33. `# result = urllib2.urlopen(url)`
34. `# results.append(result)`
35. 
36. `# # ------- VERSUS ------- #`
37. 
38. `# # ------- 4 Pool ------- #`
39. `# pool = ThreadPool(4)`
40. `# results = pool.map(urllib2.urlopen, urls)`
41. 
42. `# # ------- 8 Pool ------- #`
43. 
44. `# pool = ThreadPool(8)`
45. `# results = pool.map(urllib2.urlopen, urls)`
46. 
47. `# # ------- 13 Pool ------- #`
48. 
49. `# pool = ThreadPool(13)`
50. `# results = pool.map(urllib2.urlopen, urls)`

结果：

1.  `# Single thread: 14.4 Seconds`
2.  `# 4 Pool: 3.1 Seconds`
3.  `# 8 Pool: 1.4 Seconds`
4.  `# 13 Pool: 1.3 Seconds`

很棒的结果不是吗？这一结果也说明了为什么要通过实验来确定线程池的大小。在我的机器上当线程池大小大于 9 带来的收益就十分有限了。

### 另一个真实的例子 ###

生成上千张图片的缩略图 这是一个 CPU 密集型的任务，并且十分适合进行并行化。

基础单进程版本

1.  `import os`
2.  `import PIL`
3.  
4.  `from multiprocessing importPool`
5.  `from PIL importImage`
6.  
7.  `SIZE = (75,75)`
8.  `SAVE_DIRECTORY = "thumbs"`
9.  
10. `def get_image_paths(folder):`
11. `return(os.path.join(folder, f)`
12. `for f in os.listdir(folder)`
13. `if"jpeg"in f)`
14. 
15. `def create_thumbnail(filename):`
16. `im = Image.open(filename)`
17. `im.thumbnail(SIZE, Image.ANTIALIAS)`
18. `base, fname = os.path.split(filename)`
19. `save_path = os.path.join(base, SAVE_DIRECTORY, fname)`
20. `im.save(save_path)`
21. 
22. `if __name__ == "__main__":`
23. `folder = os.path.abspath(`
24. `"11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840")`
25. `os.mkdir(os.path.join(folder, SAVE_DIRECTORY))`
26. 
27. `images = get_image_paths(folder)`
28. 
29. `for image in images:`
30. `create_thumbnail(Image)`

上边这段代码的主要工作就是将遍历传入的文件夹中的图片文件，一一生成缩略图，并将这些缩略图保存到特定文件夹中。

这我的机器上，用这一程序处理 6000 张图片需要花费 27.9 秒。

如果我们使用 map 函数来代替 for 循环：

5.6 秒！

虽然只改动了几行代码，我们却明显提高了程序的执行速度。在生产环境中，我们可以为 CPU 密集型任务和 IO 密集型任务分别选择多进程和多线程库来进一步提高执行速度——这也是解决死锁问题的良方。此外，由于 map 函数并不支持手动线程管理，反而使得相关的 debug 工作也变得异常简单。

到这里，我们就实现了（基本）通过一行 Python 实现并行化。

转自：[微点阅读][Link 3] [https://www.weidianyuedu.com][Link 3]

[e2fb4624c97a44b6be343b1aad5a3b65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/8ad0e50b1dd34f308b24ccc024e637f8.png
[Link 1]: https://so.csdn.net/so/search?q=%E5%A4%9A%E7%BA%BF%E7%A8%8B&spm=1001.2101.3001.7020
[Link 2]: https://so.csdn.net/so/search?q=%E9%98%9F%E5%88%97&spm=1001.2101.3001.7020
[Link 3]: https://www.weidianyuedu.com