python通俗易懂的GIL、多进程、多线程

需要知道知识:

  1. 全局变量:
    子进程可以使用,但是不能改变主进程的全局变量,
    函数可以使用,但是不能修改全局变量。
  2. 内存:
    列表append会使内存一直增加
    类中的进程函数一定要是静态,否则会每一个进程都会继承类的数据,导致内存爆掉

1. 通俗易懂的理解

1.1 不需要知道GIL是什么

GIL只需要记住他是针对python 多线程来讲的,python 多线程其实没什么大用,并非CPU的并行,原因就是因为GIL机制,这个机制导致python 多线程实际上只是CPU在多个线程之间来回切换。如果当某个线程等待时间大于线程来回切换的时间,那么其实时间上是有收益的。GIL只允许一个进程中CPU只执行一个线程。

1.2 多线程

上面已经说过了,其实多线程可能大多数用于某个线程处理需要等待比较长时间,而又不想浪费时间。比如线程A在读取大文件,而不想浪费等待读取文件的时间,就可以用多线程,自动切换到线程B上处理其他事情。这些都是python多线程自己完成的。

1.3 多进程

python的多进程才是真正的CPU并行执行。之间的关系。一个程序可以起多个进程,一个进程又可以起多个线程。

2. 多线程代码

from threading import Thread

# 创建多线程
t1 = Thread(target=func1, args=(q1,...))
t2 = Thread(target=func2, args=(q2, ...))
...
# 启动多线程
t1.start()
t2.start()
...
# 阻塞
t1.join()
t2.join()
...

3. 多进程代码

from multiprocessing import Pool, Manager
...
# 创建进程池
 pool = Pool(processes=thread_nums)

# 异步并行
pool.apply_async(func1, args=(q1, ...))
pool.apply_async(func2, args=(q2, ...))
...

# 关闭,不在接受新任务
pool.close()
# 阻塞,等待子进程结束
pool.join()
...

猜你喜欢

转载自blog.csdn.net/m0_59156726/article/details/132849220