python的多线程、多进程代码示例

青旅半醒 2023-06-04 05:53 25阅读 0赞

python多进程和多线程的区别：  
python的多线程不是真正意义上的多线程，由于python编译器的问题，导致python的多线程存在一个PIL锁，使得python的多线程的CPU利用率比预期的要低很多  
python的多进程（java的应该也是）有内存拷贝的问题，所以建议用java或者c的多线程。

多线程有两种方式：thread和threading

这里应用的场景是map数据分多线程、进度写入codis的示例

这是thread的示例:thread的主进程不会等待线程

import thread,math,threading,multiprocessing,os,time
    def writeToCodis(prefix,key_list,result_map):
        # client = BfdCodis("xxx", )
        begin = int(time.time())
        for key in key_list:
            print key 
            # client.set(prefix + key, result_map[key])
            # client.expire(prefix + key, 1 * 24 * 3600)
        end = int(time.time())
    # 分配key
    gidToSid={1:2,3:4}
    total_key = len(gidToSid)
    gap = int(math.ceil(float(total_key)/process_num))
    keys = gidToSid.keys()
    for i in range(0,process_num):
        thread.start_new_thread(writeToCodis,(G2S_prefix,keys[i*gap:(i+1)*gap],gidToSid))
        # t.start()
    time.sleep(10)

threading 会等待线程的执行

for i in range(0,process_num):
        t=threading.Thread(target=writeToCodis,args=(G2S_prefix,keys[i*gap:(i+1)*gap],gidToSid))
        t.start()

这是多进程的示例

for i in range(0,process_num):
        p = multiprocessing.Process(target=writeToCodis,args=(G2S_prefix,keys[i*gap:(i+1)*gap],gidToSid))
        p.start()

转载于:https://www.cnblogs.com/qwj-sysu/p/5568232.html

发表评论取消回复

表情：

评论列表（有 0 条评论，25人围观）

还没有评论，来说两句吧...

相关阅读

相关 python_多进程、多线程

注意：q中获取的结果顺序不一定是[[1,4,9],[4,9,16],[9,16,25],[25,36]]，如果将job()函数中的time.sleep(1)取消注释，就会...

红太狼/ 2024年05月23日 22:02/ 0 赞/ 199 阅读

相关 python的多线程、多进程、协程用代码

![6b6762bf289ff1bb942e93c48b8117bd.jpeg][] 很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬

╰半夏微凉°/ 2024年04月01日 18:11/ 0 赞/ 179 阅读

相关 python多线程、多进程及协程用代码

![db4015e393d469e864763dbfb4990473.jpeg][] 很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬

冷不防/ 2024年03月26日 16:13/ 0 赞/ 162 阅读

相关 python的多线程、多进程、协程用代码详解

![format_png][] 前言文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者

雨点打透心脏的1/2处/ 2023年07月23日 03:31/ 0 赞/ 98 阅读

相关 Python多线程代码示例

-- coding: utf-8 -- 开发团队：pip uninstall python 开发人员：breakmyself

蔚落/ 2023年06月12日 06:27/ 0 赞/ 90 阅读

相关 python下多线程是鸡肋，推荐使用多进程代码示例

最近在看Python的多线程，经常我们会听到老手说：“python下多线程是鸡肋，推荐使用多进程！”，但是为什么这么说呢？要知其然，更要知其所以然。所以有了下面的深入研究：

向右看齐/ 2023年06月06日 03:56/ 0 赞/ 79 阅读

相关 python的多线程、多进程代码示例

python多进程和多线程的区别： python的多线程不是真正意义上的多线程，由于python编译器的问题，导致python的多线程存在一个PIL锁，使得python的多

青旅半醒/ 2023年06月04日 05:53/ 0 赞/ 26 阅读

相关 Python的多线程与多进程编程示例

使用示例：多进程： -- coding: utf-8 -- """ Python多进程的简单使用 """ from mu

Love The Way You Lie/ 2023年02月26日 13:28/ 0 赞/ 117 阅读

相关 Python 多线程、多进程

什么是线程？ py文件在执行程序中，他会根据程序的编写来区分，假如没有创建子进程，整个程序就是主进程。那程序中，有主线程而且还有子线程，那他就是一个多线程。使用多

旧城等待，/ 2021年12月01日 19:06/ 0 赞/ 516 阅读

相关 python多线程多进程

参考博客 https://www.cnblogs.com/whatisfantasy/p/6440585.html 1 概念梳理： 1.1 线程 1.1.1

╰+哭是因爲堅強的太久メ/ 2021年11月29日 22:38/ 0 赞/ 568 阅读