python 学习第二十三天(Cpython解释器中的GIL)
其他
2018-11-01 22:51:26
阅读次数: 0
首先让我们了解一下并发和并行的概念: 什么是并发什么是并行,他们的区别是什么? 举个简单的例子: 你吃饭吃到一半,电话来了,你一直到吃完了以后才去接,这就说明你不支持并发也不支持并行. 你吃饭吃到一半,电话来了,你停了下来接了电话,接完后电话以后继续吃饭,这说明你支持并发。 你吃饭吃到一半,电话来了,你一边打电话一边吃饭,这说明你支持并行。 并行与并发的理解 并发:交替处理多个任务的能力; 并行:同时处理多个任务的能力; 并发的关键是你有处理多个任务的能力,不一定要同时。 并行的关键是你有同时处理多个任务的能力,强调的是同时. 所以它们最大的区别就是:是否是『同时』处理任务。 对于一个多核cpu来说并行显然要比并发快的多 由此我们可以知道一个多核cpu在处理多个任务的时候如果想要发挥最大功效就要实现并行 那我们在使用多线程和多进程来写程序的时候就是为了让多核cup发挥他最大的功效实现并行,
也就是我们面试题参考答案的结果 代码验证多进程,多线程对cpu的使用情况 1.多线程实验
子线程死循环 import threading def test(): while True: pass t1 = threading.Thread(target=test) t1.start()
2.主线程死循环 while True: pass
3.多进程 import multiprocessing def deadLoop(): while True: pass 子进程死循环 p1 = multiprocessing.Process(target=deadLoop) p1.start() 主进程死循环 deadLoop()
通过代码可以发现 多进程可以充分使用cpu的两个内核 而多线程却不能充分使用cpu的两个内核 问题 : 通过验证我们发现多线程并不能真正的让多核cpu实现并行。 原因 : cpython解释器中存在一个GIL(全局解释器锁),他的作用就是保证同一时刻只有一个线程可以执行代码,
因此造成了我们使用多线程的时候无法实现并行。
解决方案法 : 1:更换解释器 比如使用jpython(java实现的python解释器) 2:使用多进程完成多任务的处理,但多进程开销比较大
GIL(全局解释器锁)
常见GIL面试题如下 描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,
并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。
he language doesn’t require the GIL – it’s only the CPython virtual machine that has historically
been unable to shed it. 参考答案: Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。 GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。 线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,
必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数
达到100 Python使用多进程是可以利用多核的CPU资源的。 多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁 结论: 1. 在 处理像科学计算 这类需要持续使用cpu的任务的时候 单线程会比多线程快 2. 在 处理像IO操作等可能引起阻塞的这类任务的时候 多线程会比单线程
首先让我们了解一下并发和并行的概念: 什么是并发什么是并行,他们的区别是什么? 举个简单的例子: 你吃饭吃到一半,电话来了,你一直到吃完了以后才去接,这就说明你不支持并发也不支持并行. 你吃饭吃到一半,电话来了,你停了下来接了电话,接完后电话以后继续吃饭,这说明你支持并发。 你吃饭吃到一半,电话来了,你一边打电话一边吃饭,这说明你支持并行。 并行与并发的理解 并发:交替处理多个任务的能力; 并行:同时处理多个任务的能力; 并发的关键是你有处理多个任务的能力,不一定要同时。 并行的关键是你有同时处理多个任务的能力,强调的是同时. 所以它们最大的区别就是:是否是『同时』处理任务。 对于一个多核cpu来说并行显然要比并发快的多 由此我们可以知道一个多核cpu在处理多个任务的时候如果想要发挥最大功效就要实现并行 那我们在使用多线程和多进程来写程序的时候就是为了让多核cup发挥他最大的功效实现并行,
也就是我们面试题参考答案的结果 代码验证多进程,多线程对cpu的使用情况 1.多线程实验
子线程死循环 import threading def test(): while True: pass t1 = threading.Thread(target=test) t1.start()
2.主线程死循环 while True: pass
3.多进程 import multiprocessing def deadLoop(): while True: pass 子进程死循环 p1 = multiprocessing.Process(target=deadLoop) p1.start() 主进程死循环 deadLoop()
通过代码可以发现 多进程可以充分使用cpu的两个内核 而多线程却不能充分使用cpu的两个内核 问题 : 通过验证我们发现多线程并不能真正的让多核cpu实现并行。 原因 : cpython解释器中存在一个GIL(全局解释器锁),他的作用就是保证同一时刻只有一个线程可以执行代码,
因此造成了我们使用多线程的时候无法实现并行。
解决方案法 : 1:更换解释器 比如使用jpython(java实现的python解释器) 2:使用多进程完成多任务的处理,但多进程开销比较大
GIL(全局解释器锁)
常见GIL面试题如下 描述Python GIL的概念, 以及它对python多线程的影响?编写一个多线程抓取网页的程序,
并阐明多线程抓取程序是否可比单线程性能有提升,并解释原因。
he language doesn’t require the GIL – it’s only the CPython virtual machine that has historically
been unable to shed it. 参考答案: Python语言和GIL没有半毛钱关系。仅仅是由于历史原因在Cpython虚拟机(解释器),难以移除GIL。 GIL:全局解释器锁。每个线程在执行的过程都需要先获取GIL,保证同一时刻只有一个线程可以执行代码。 线程释放GIL锁的情况: 在IO操作等可能会引起阻塞的system call之前,可以暂时释放GIL,但在执行完毕后,
必须重新获取GIL Python 3.x使用计时器(执行时间达到阈值后,当前线程释放GIL)或Python 2.x,tickets计数
达到100 Python使用多进程是可以利用多核的CPU资源的。 多线程爬取比单线程性能有提升,因为遇到IO阻塞会自动释放GIL锁 结论: 1. 在 处理像科学计算 这类需要持续使用cpu的任务的时候 单线程会比多线程快 2. 在 处理像IO操作等可能引起阻塞的这类任务的时候 多线程会比单线程
转载自 blog.csdn.net/CZ505632696/article/details/81841729