版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_37967865/article/details/81042520
写过爬虫的都知道，爬虫的性能瓶颈在于IO，因为爬虫是一个IO密集型业务，程序需要发起网络请求，必然就有IO阻塞，
通常请求一个URL耗时要几百毫秒到几秒不等，而我们的CPU处理速度惊人，两者的速度就好比乌龟跟火箭的差别。
在单线程同步阻塞程序中，如果要获取一个网站所有的URL，假设100个URL，平均每个URL请求的时间是1秒，
那么在单线程同步场景下，最快也需要100秒钟，才能把所有的页面爬取下来。
于是，我们想到了更好的一种办法就是采用多线程或者多进程，但是由于在Python中臭名昭著的GIL，导致做不到真正的并行运算，
在同一时间内，就算有多核CPU，也无法被利用起来，这样虽然能做到并发，但是没法并行，在单个CPU里切换线程，还有切换成本，以及线程的创造成本。
如果使用多进程，虽然能利用多核处理的优势，但是多进程的创建成本比线程更高，而IO密集型任务，CPU不是瓶颈。
所以，后来Python引入了异步编程，异步编程使得CPU不再需要再去等待耗时的操作，而是让出CPU时间给其他任务执行，
熟悉电脑硬件的朋友肯定对DMA这个词不陌生，硬盘、光驱的技术规格中都有明确DMA的模式指标，其实网卡、声卡、显卡也是有DMA功能的。
DMA就是直接内存访问的意思，也就是说，拥有DMA功能的硬件在和内存进行数据交换的时候可以不消耗CPU资源。
只要CPU在发起数据传输时发送一个指令，硬件就开始自己和内存交换数据，在传输完成之后硬件会触发一个中断来通知操作完成。
这些无须消耗CPU时间的I/O操作正是异步操作的硬件基础。所以即使在DOS这样的单进程（而且无线程概念）系统中也同样可以发起异步的DMA操作。
而异步则是相反，*调用*在发出之后，这个调用就直接返回了，所以没有返回结果。换句话说，当一个异步过程调用发出后，调用者不会立刻得到结果。
而是在*调用*发出后，*被调用者*通过状态、通知来通知调用者，或通过回调函数处理这个调用。典型的异步编程模型比如Node.js
举个通俗的例子：
你打电话问书店老板有没有《分布式系统》这本书，如果是同步通信机制，书店老板会说，你稍等，”我查一下"，然后开始查啊查，等查好了（可能是5秒，也可能是一天）告诉你结果（返回结果）。
而异步通信机制，书店老板直接告诉你我查一下啊，查好了打电话给你，然后直接挂电话了（不返回结果）。然后查好了，他会主动打电话给你。在这里老板通过“回电”这种方式来回调。
阻塞调用是指调用结果返回之前，当前线程会被挂起。调用线程只有在得到结果之后才会返回。
非阻塞调用指在不能立刻得到结果之前，该调用不会阻塞当前线程。
还是上面的例子，
你打电话问书店老板有没有《分布式系统》这本书，你如果是阻塞式调用，你会一直把自己“挂起”，直到得到这本书有没有的结果，
如果是非阻塞式调用，你不管老板有没有告诉你，你自己先一边去玩了， 当然你也要偶尔过几分钟check一下老板有没有返回结果。
在这里阻塞与非阻塞与是否同步异步无关。跟老板通过什么方式回答你结果无关。
进程:具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位.
线程:进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。
线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),
但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.
2.关系
一个线程可以创建和撤销另一个线程;同一个进程中的多个线程之间可以并发执行.
相对进程而言，线程是一个更加接近于执行体的概念，它可以与同进程中的其他线程共享数据，但拥有自己的栈空间，拥有独立的执行序列。
3.区别
进程和线程的主要差别在于它们是不同的操作系统资源管理方式。进程有独立的地址空间，一个进程崩溃后，在保护模式下不会对其它进程产生影响。
而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量，但线程之间没有单独的地址空间，一个线程死掉就等于整个进程死掉，
所以多进程的程序要比多线程的程序健壮，但在进程切换时，耗费资源较大，效率要差一些。
但对于一些要求同时进行并且又要共享某些变量的并发操作，只能用线程，不能用进程。
1) 简而言之,一个程序至少有一个进程,一个进程至少有一个线程.
2) 线程的划分尺度小于进程，使得多线程程序的并发性高。
3) 另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。
4) 线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。
但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。
5) 从逻辑角度来看，多线程的意义在于一个应用程序中，有多个执行部分可以同时执行。
但操作系统并没有将多个线程看做多个独立的应用，来实现进程的调度和管理以及资源分配。这就是进程和线程的重要区别。
4.优缺点
线程和进程在使用上各有优缺点：
线程执行开销小，但不利于资源的管理和保护；而进程正相反。
Why:
由于CPU与其他PC资源之间速度的不协调，人们想提高资源利用率，所以人们提出了多任务系统。
得益于CPU的计算速度，我们可以“同时”运行多个任务，实质上是多个任务之间轮流使用CPU资源，由于速度超快，给用户的感觉就是连续的。
How:
1）任务的执行需要依赖各个PC资源，我们可以称为计算机执行的上下文环境。
要实现“同时执行”，就需要不断轮换，为了后来继续从当前状态执行下去，计算机需要保存切换前的程序上下文。
所以有了进程：用进程去描述程序当前上下文的状态信息----内存位置、变量值、任务ID……所以，进程是资源分配的单位。
一般来说宏观上可以看做是一个软件的运行，例如一个word文档的打开。
2）多个任务之间切换因为要保存上下文、调入上下文，一旦多了的时候，还是有一定的时间消耗的。
为了进一步提高资源利用率，人们在进程中，引入了线程，线程只是CPU轮流调度的单位，其他上下文信息用所在进程中的。
这样上下文切换的耗时就降了下来。同样的，宏观上来可以看做是一个软件中的多个处理功能，例如上述打开word中拼写检查功能、字体加粗……
So, What:
一般来说，进程是资源的分配单位，线程是CPU在进程内切换的单位，线程属于进程。所以运行某个软件，相当于开了一个进程。
在这个软件运行的过程里（在这个进程里），多个工作支撑的完成QQ的运行，那么这“多个工作”分别有一个线程。
再打一个通俗易懂的比方吧！
比如你去一个食堂吃饭。里面有A,B,C,D等一些窗口可以打饭菜或者米粉麻辣烫什么的。
但是每一个窗口又有打这些菜的师傅。
那么这些窗口就是进程。
那个那些窗口里面打菜的师傅就是线程。
这个食堂就是系统了，系统去分配这些进程。
通常请求一个URL耗时要几百毫秒到几秒不等，而我们的CPU处理速度惊人，两者的速度就好比乌龟跟火箭的差别。
在单线程同步阻塞程序中，如果要获取一个网站所有的URL，假设100个URL，平均每个URL请求的时间是1秒，
那么在单线程同步场景下，最快也需要100秒钟，才能把所有的页面爬取下来。
于是，我们想到了更好的一种办法就是采用多线程或者多进程，但是由于在Python中臭名昭著的GIL，导致做不到真正的并行运算，
在同一时间内，就算有多核CPU，也无法被利用起来，这样虽然能做到并发，但是没法并行，在单个CPU里切换线程，还有切换成本，以及线程的创造成本。
如果使用多进程，虽然能利用多核处理的优势，但是多进程的创建成本比线程更高，而IO密集型任务，CPU不是瓶颈。
所以，后来Python引入了异步编程，异步编程使得CPU不再需要再去等待耗时的操作，而是让出CPU时间给其他任务执行，
这样假如有100个任务，每个任务是1秒钟，就可以做到理论上只需要1秒钟就可以完成所有的任务。
同步与异步
异步操作的本质
所有的程序最终都会由计算机硬件来执行，所以为了更好的理解异步操作的本质，我们有必要了解一下它的硬件基础。熟悉电脑硬件的朋友肯定对DMA这个词不陌生，硬盘、光驱的技术规格中都有明确DMA的模式指标，其实网卡、声卡、显卡也是有DMA功能的。
DMA就是直接内存访问的意思，也就是说，拥有DMA功能的硬件在和内存进行数据交换的时候可以不消耗CPU资源。
只要CPU在发起数据传输时发送一个指令，硬件就开始自己和内存交换数据，在传输完成之后硬件会触发一个中断来通知操作完成。
这些无须消耗CPU时间的I/O操作正是异步操作的硬件基础。所以即使在DOS这样的单进程（而且无线程概念）系统中也同样可以发起异步的DMA操作。
同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)
所谓同步，就是在发出一个*调用*时，在没有得到结果之前，该*调用*就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由*调用者*主动等待这个*调用*的结果。而异步则是相反，*调用*在发出之后，这个调用就直接返回了，所以没有返回结果。换句话说，当一个异步过程调用发出后，调用者不会立刻得到结果。
而是在*调用*发出后，*被调用者*通过状态、通知来通知调用者，或通过回调函数处理这个调用。典型的异步编程模型比如Node.js
举个通俗的例子：
你打电话问书店老板有没有《分布式系统》这本书，如果是同步通信机制，书店老板会说，你稍等，”我查一下"，然后开始查啊查，等查好了（可能是5秒，也可能是一天）告诉你结果（返回结果）。
而异步通信机制，书店老板直接告诉你我查一下啊，查好了打电话给你，然后直接挂电话了（不返回结果）。然后查好了，他会主动打电话给你。在这里老板通过“回电”这种方式来回调。
阻塞与非阻塞
阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态。阻塞调用是指调用结果返回之前，当前线程会被挂起。调用线程只有在得到结果之后才会返回。
非阻塞调用指在不能立刻得到结果之前，该调用不会阻塞当前线程。
还是上面的例子，
你打电话问书店老板有没有《分布式系统》这本书，你如果是阻塞式调用，你会一直把自己“挂起”，直到得到这本书有没有的结果，
如果是非阻塞式调用，你不管老板有没有告诉你，你自己先一边去玩了， 当然你也要偶尔过几分钟check一下老板有没有返回结果。
在这里阻塞与非阻塞与是否同步异步无关。跟老板通过什么方式回答你结果无关。
进程和线程的区别
1.定义进程:具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位.
线程:进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。
线程自己基本上不拥有系统资源,只拥有一点在运行中必不可少的资源(如程序计数器,一组寄存器和栈),
但是它可与同属一个进程的其他的线程共享进程所拥有的全部资源.
2.关系
一个线程可以创建和撤销另一个线程;同一个进程中的多个线程之间可以并发执行.
相对进程而言，线程是一个更加接近于执行体的概念，它可以与同进程中的其他线程共享数据，但拥有自己的栈空间，拥有独立的执行序列。
3.区别
进程和线程的主要差别在于它们是不同的操作系统资源管理方式。进程有独立的地址空间，一个进程崩溃后，在保护模式下不会对其它进程产生影响。
而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量，但线程之间没有单独的地址空间，一个线程死掉就等于整个进程死掉，
所以多进程的程序要比多线程的程序健壮，但在进程切换时，耗费资源较大，效率要差一些。
但对于一些要求同时进行并且又要共享某些变量的并发操作，只能用线程，不能用进程。
1) 简而言之,一个程序至少有一个进程,一个进程至少有一个线程.
2) 线程的划分尺度小于进程，使得多线程程序的并发性高。
3) 另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。
4) 线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。
但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。
5) 从逻辑角度来看，多线程的意义在于一个应用程序中，有多个执行部分可以同时执行。
但操作系统并没有将多个线程看做多个独立的应用，来实现进程的调度和管理以及资源分配。这就是进程和线程的重要区别。
4.优缺点
线程和进程在使用上各有优缺点：
线程执行开销小，但不利于资源的管理和保护；而进程正相反。
举例
开个QQ，开了一个进程；开了迅雷，开了一个进程。在QQ的这个进程里，传输文字开一个线程、传输语音开了一个线程、弹出对话框又开了一个线程。Why:
由于CPU与其他PC资源之间速度的不协调，人们想提高资源利用率，所以人们提出了多任务系统。
得益于CPU的计算速度，我们可以“同时”运行多个任务，实质上是多个任务之间轮流使用CPU资源，由于速度超快，给用户的感觉就是连续的。
How:
1）任务的执行需要依赖各个PC资源，我们可以称为计算机执行的上下文环境。
要实现“同时执行”，就需要不断轮换，为了后来继续从当前状态执行下去，计算机需要保存切换前的程序上下文。
所以有了进程：用进程去描述程序当前上下文的状态信息----内存位置、变量值、任务ID……所以，进程是资源分配的单位。
一般来说宏观上可以看做是一个软件的运行，例如一个word文档的打开。
2）多个任务之间切换因为要保存上下文、调入上下文，一旦多了的时候，还是有一定的时间消耗的。
为了进一步提高资源利用率，人们在进程中，引入了线程，线程只是CPU轮流调度的单位，其他上下文信息用所在进程中的。
这样上下文切换的耗时就降了下来。同样的，宏观上来可以看做是一个软件中的多个处理功能，例如上述打开word中拼写检查功能、字体加粗……
So, What:
一般来说，进程是资源的分配单位，线程是CPU在进程内切换的单位，线程属于进程。所以运行某个软件，相当于开了一个进程。
在这个软件运行的过程里（在这个进程里），多个工作支撑的完成QQ的运行，那么这“多个工作”分别有一个线程。
再打一个通俗易懂的比方吧！
比如你去一个食堂吃饭。里面有A,B,C,D等一些窗口可以打饭菜或者米粉麻辣烫什么的。
但是每一个窗口又有打这些菜的师傅。
那么这些窗口就是进程。
那个那些窗口里面打菜的师傅就是线程。
这个食堂就是系统了，系统去分配这些进程。