Python中的多任务:线程、进程、协成

什么是多任务?

简单地说,就是操作系统可以同时运行多个任务实现多任务有多种方式线程进程协程

 

并行和并发的区别?

并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任务“一起”执行(实际上总有一些任务不在执行,因为切换任务的速度相当快,看上去一起执行而已)

并行:指的是任务数小于等于cpu核数,即任务真的是一起执行的

真的多任务叫并行,假的多任务叫并发

什么是线程?

可以简单理解为同一进程中有多个计数器,每个线程的执行时间不确定,而每个进程的时间片相等,线程是操作系统调度执行的最小单位.

线程的创建步骤

Import threading

# 创建一个线程对象

t1 = threading.Thread(target=func_name, args=(num,), name=”子线程名字”)

# 创建一个线程并启动

t1.start()

# 等待子线程执行完毕之后再继续向下执行主线程

t1.join()

备注:主线程会等待子线程结束之后才会结束,主线程一死,子线程也会死。线程的调度是随机的,并没有先后顺序

枚举函数enumerate的用法

enumerate()是python的内置函数,在字典上是枚举、列举的意思。用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。通过threading.enumerate()就可以获取线程列表

互斥锁的运用

由于多线程之间共享全局变量就会导致出现资源竞争的问题,为了避免这种竞争出现,利用互斥锁可以实现线程同步。

# 创建锁

Mutex = threading.Lock()

# 加锁

Mutex.acquire()

# 释放锁

Mutex.release()

 

 

什么是死锁?(了解)

在线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且同时等待对方的资源,就会造成死锁,尽管死锁很少发生,但一旦发生就会造成应用的停止响应。

 

什么是进程?

程序是静态的,当程序运行起来就叫做进程。是操作系统分配资源的基本单元

进程、线程的区别与优缺点

1. 定义的不同:

进程是系统进行资源分配的最小单位.

线程是进程的一个实体,是CPU进行调度的基本单位。线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.

2. 区别:

一个程序至少有一个进程,一个进程至少有一个线程.线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高。进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率。线程不能够独立执行,必须依存在进程中

3. 优缺点:

线程执行开销小,但不利于资源的管理和保护;而进程正相反。

 

 

进程的创建步骤

# 导入进程模块

Import multiprocessing

# 创建一个进程的实力对象

P = Multiprocessing.Process(target=func_name[,args=(元组), kwargs={字典}])

# 创建并启动进程

p.start()

 

p.join(5)

 

通过Queue实现进程间通信

# 创建一个队列

Q = multiprocessing.Queue(3)  # 3代表队列中最多可以接收三条消息

# 向队列中添加数据

q.put(data)

 

# 从队列中取数据

q.get()

 

# 判断队列中是否为空

q.empty()

# 判断队列中是否已满

q.full()

 

注意:如果是通过进程池创建的进程,那么队列的使用要用

multiprocessing.Manager().Queue()的方式,否则会报错

 

进程池Pool

当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务

 

 

进程池的实现步骤

# 导入进程池模块

From multiprocessing import Pool

# 定义进程池,最大进程池最大数

Po = Pool(3)

# 通过进程池调用目标  apply_async非阻塞,不会等待子进程结束;apply阻塞,会等待子进程结束才结束

po.apply_async(要调用的目标,(传递给目标的参数元祖,))

# 关闭进程池

Po.close()

# 等待进程池执行完毕

Po.join()

 

 

什么是协程?

协程,又称微线程,纤程。英文名Coroutine。协程,利用线程在等待某个资源的期间执行其他函数,切换资源消耗非常小,协程效率相当快。

 

进程、线程、协程的区别?

进程、线程、协程的区别

进程是资源分配的单位,真正执行代码的是线程,操作系统真正调度的是线程。

进程没有线程效率高,进程占用资源多,线程占用资源少,比线程更少的是协程。

协程依赖于线程、线程依赖于进程,进程一死线程必挂,线程一挂协程必死

一般不用多进程,可以考虑使用多线程,如果多线程里面有很多网络请求,网络可能会有堵塞,此时用协程比较合适。

什么是GIL?

GIL并不是Python的特性,Python完全可以不依赖于GIL。GIL全称Global Interpreter Lock。它是在实现Python解析器(CPython)时所引入的一个概念。GIL无疑就是一把全局排他锁。

Python GIL其实是功能和性能之间权衡后的产物,它尤其存在的合理性,也有较难改变的客观因素。因为GIL的存在,只有IO Bound场景下得多线程会得到较好的性能,如果对并行计算性能较高的程序可以考虑把核心部分也成C模块,或者索性用其他语言实现

GIL在较长一段时间内将会继续存在,但是会不断对其进行改进。

猜你喜欢

转载自blog.csdn.net/lanseduonaohedj/article/details/89306654
今日推荐