Python多线程,多进程

并发和并行

并发:“同时”执行多个任务,注意->伪同时,并发就是在同一主体不同时间段间隔执行多个任务。

并行:同时执行多个任务,注意->同时

python多线程

python多线程是,想必大家也知道这个多线程并不能发挥最大作用,不同于其他语言可以利用好多个核心处理器使其物尽其用,这就是因为全局锁GIL的存在才导致的。

全局锁GIL的概念:当初在设计python解释器的时候就把GIL引入,目的就是使python是线程安全的。当有多个线程需要CPU资源的时候就必须要先拿到GIL锁,并且在没有获得锁的线程是无法获得CPU资源的,GIL是加在进程上的锁。

直观一点的,从网上直接找了一张图很形象的展现了这个:

       图中表示的是两个线程在双核CPU上得执行情况。两个线程均为CPU密集型运算线程。绿色部分表示该线程在运行,且在执行有用的计算,红色部分为线程被调度唤醒,但是无法获取GIL导致无法进行有效运算等待的时间。

可以看出,GIL的存在导致多线程无法很好的利用多核CPU的并发处理能力。 

python多进程

python多线程因为GIL的存在,导致根本无法利用多核资源,所以必须找一个替代的。那么就是利用多进程了,每个进程有一个GIL锁,这样每个进程是可以并行的,这样就可以提高效率啦。

使用multiprocessing模块来开启多进程。一个案例:

from multiprocessing import Pool
from scrapy import cmdline

def run_one_py(city_name):
    cmd = "scrapy crawl " + city_name
    cmdline.execute(cmd.split())

if __name__ == '__main__':
    print 'start process'
    p = Pool(4)
    list_city = ['gs_by_project', 'gs_dx_project', 'gs_gnzz_project', 'gs_gs_project', 'gs_hl_project', 'gs_jyg_project',
                 'gs_jc_project', 'gs_jq_project', 'gs_jqdh_project', 'gs_lz_project', 'gs_lxhz_project', 'gs_ln01_project',
                 'gs_ln_project', 'gs_pl_project', 'gs_plcx_project', 'gs_plht_project', 'gs_pljn_project', 'gs_pllt_project',
                 'gs_qy_project', 'gs_ts_project', 'gs_ww_project', 'gs_zy_project', 'gs_zygt_project', 'gs_zylz_project',
                 'gs_zyml_project', 'gs_zysd_project', 'gs_zysn_project']
    for city in list_city:
        p.apply_async(run_one_py, args=(city,))
    print('Waiting for all subprocesses done...')
    p.close()
    p.join()
    print('All subprocesses done.')

这个是使用了进程池的一个案例,期中Pool的参数最好是你电脑的核心处理器的个数。

 

一般我们都是4核的。

       前段时间也遇到一个问题,就是上面这段代码用来跑scrapy,结果在跑的过程中,发现我的一个类变量被意外地修改。开始时我想了很久也不知道什么原因。因为每个进程之间是不共享数据的,每个进程都是独立的,怎么会修改我的变量呢?很奇怪,不过后来猜测原因是我的processes变量定义的是4,我的是4核的cpu,所以算起来我的核心处理器使用完了。这就是问题的根源,因为我在跑程序的时候又去写代码了然后会测试新的程序,这样我就会重复使用一个核心处理器,这样就相当于有一个进程中我跑了多线程,然后多线程的数据又是在一块共享的内存中的,所以才导致这个问题。

和其他语言的多线程和多进程对比

个人理解的一个例子!

猜你喜欢

转载自blog.csdn.net/qq_36486573/article/details/81139302