Python入门进阶教程-多线程与多进程

在这里插入图片描述

「关注我，和我一起放下灵魂，让灵魂去搬砖。」

Python多线程与多进

Python版本3.8.0，开发工具：Pycharm

试想一下当你有1w个小文件需要处理，假设每个文件读取处理到写入需要1秒，

那么你处理完所以文件会需要两个多小时。

但是如果你可以同时开启四个任务处理1w 个文件，每个任务平均处理2500个

这个时候你的时间可以压缩在一小时以内。

如何同时对一个文件夹开启四个任务同时处理不同的任务，而不会产生冲突，接下来我们一起了解一下多线程和多进程。

进程与线程

从一定意义上讲，进程就是一个应用程序在处理机上的一次执行过程，它是一个动态的概念，而线程是进程中的一部分，进程包含多个线程在运行。

进程是资源（CPU、内存等）分配的基本单位，它是程序执行时的一个实例。线程是程序执行时的最小单位，它是进程的一个执行流，是CPU调度和分派的基本单位，一个进程可以由很多个线程组成，线程间共享进程的所有资源。

Python多线程

Python 中提供两个标准库 thread 和 threading 用于对线程的支持，但 Python3 中已放弃对 thread 的支持，所以接下来均以 threading 为例。

python中有两种方式实现线程：

1.实例化一个 threading.Thread 的对象，并传入一个初始化函数对象作为线程执行的入口；
2.继承 threading.Thread，并重写 run 函数；

# 第一种实现线程的方法
import threading
# my_fun为自定义函数，args为自定义函数的参数
thread1 = threading.Thread(target=my_fun, args=('This is thread 1',))
thread2 = threading.Thread(target=my_fun, args=('This is thread 2',))
# 启动线程
thread1.start()
thread2.start()


# 第二中实现线程的方法
class MyThread(threading.Thread):
    # step 1: call base __init__ function
    def __init__(self, thread_name):
        super(CustomThread, self).__init__(name=thread_name)
        self._tname = thread_name
    # step 2: overide run function
    def run(self):
        print("This is %s running...." % self._tname)
# 实例化MyThread
thread1 = MyThread("thread 1")
thread2 = MyThread("thread 2")
# 启动线程
thread1.start()
thread2.start()

注：

两种方式创建线程，指定的参数最终都会传给threading.Thread类；
传给线程的目标函数是在基类Thread的run函数体中被调用的，如果run没有被重写的话。

threading.Thread提供的线程对象方法和属性：

1. start()：创建线程后通过start启动线程，等待CPU调度，为run函数执行做准备；
2. run()：线程开始执行的入口函数，函数体中会调用用户编写的target函数，或者执行被重载的run函数；
3. join([timeout])：阻塞挂起调用该函数的线程，直到被调用线程执行完成或超时。通常会在主线程中调用该方法，等待其他线程执行完成。
4. name、getName()&setName()：线程名称相关的操作；
5. ident：整数类型的线程标识符，线程开始执行前（调用start之前）为None；
6. isAlive()、is_alive()：start函数执行之后到run函数执行完之前都为True；
7. daemon、isDaemon()&setDaemon()：守护线程相关。

Python多进程

Python 提供 multiprocessing 用于创建多进程

创建进程的方式和创建线程的方式类似：

1.实例化一个 multiprocessing.Process 的对象，并传入一个初始化函数对象作为新建进程执行入口；
2.继承 multiprocessing.Process，并重写 run 函数；

# 第一种实现进程的方法
from multiprocessing import Process

# my_fun为自定义函数，args为自定义函数的参数
process1 = Process(target=my_fun, args=('This is process 1',))
process2 = Process(target=my_fun, args=('This is process 2',))
# 启动线程
process1.start()
process2.start()
# join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步。
process1.join()
process2.join()


# 第二中实现进程的方法
from multiprocessing import Process  

class MyProcess(Process):
    def __init__(self, p_name, target=None):
        # step 1: call base __init__ function()
        super().__init__(name=p_name, target=target, args=(p_name,))

    def run(self):
        # step 2:
        print("Process name: %s, pid: %s " % (self.name, os.getpid()))

if __name__ == '__main__':
    # 实例化MyProcess
    process1 = MyProcess("process 1")
    process2 = MyProcess("process 2")
    # 启动进程
    process1.start()
    process2.start()
    process1.join()
    process2.join()