线程与进程基础
现在的PC与服务器都是多核的，使用多线程能够充分利用CPU来提高程序的执行效率。线程是一个基本的CPU执行单元。一个线程是一个execution context（执行上下文），即一个CPU执行时所需要的一串指令。进程是指一个程序在给定数据集合上的一次执行过程，是系统进行资源分配和运行调用的独立单位。可以简单地理解为操作系统中正在执行的程序。
线程与进程区别
- 地址空间和其它资源（如打开文件）：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见。
- 通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。
- 调度和切换：线程上下文切换比进程上下文切换要快得多。
- 在多线程OS中，进程不是一个可执行的实体。
Python解释器
-
CPython：CPython是用C语言实现的Python解释器。 作为官方实现，它是最广泛使用的Python解释器。
-
PyPy：PyPy是用RPython实现的解释器。RPython是Python的子集， 具有静态类型。这个解释器的特点是即时编译，支持多重后端（C, CLI, JVM）。PyPy旨在提高性能，同时保持最大兼容性（参考CPython的实现）。
-
Jython：Jython是一个将Python代码编译成Java字节码的实现，运行在JVM (Java Virtual Machine) 上。另外，它可以像是用Python模块一样，导入并使用任何Java类。
-
IronPython：IronPython是一个针对 .NET 框架的Python实现。它可以用Python和 .NET framework的库，也能将Python代码暴露给 .NET框架中的其他语言。
GIL只在CPython中才有，而在PyPy和Jython中是没有GIL的。
GIL
原理
在多线程环境中，Python 虚拟机按以下方式执行：
- 设置GIL
- 切换到一个线程去运行
- 运行直至指定数量的字节码指令，或者线程主动让出控制（可以调用sleep(0)）
- 把线程设置为睡眠状态
- 解锁GIL
- 再次重复以上所有步骤
特点
GIL 全局解释器锁（英语：Global Interpreter Lock，缩写GIL）有什么好处？简单来说，它在单线程的情况更快，并且在和 C 库结合时更方便，而且不用考虑线程安全问题，这也是早期 Python 最常见的应用场景和优势。锁住全局解释器使得比较容易的实现对多线程的支持，但也损失了多处理器主机的并行计算能力。
缺点
其他语言，CPU是多核时是支持多个线程同时执行。但在Python中，无论是单核还是多核，同时只能由一个线程在执行。其根源是GIL的存在。GIL的全称是Global Interpreter Lock(全局解释器锁)，来源是Python设计之初的考虑，为了数据安全所做的决定。某个线程想要执行，必须先拿到GIL，我们可以把GIL看作是“通行证”，并且在一个Python进程中，GIL只有一个。拿不到通行证的线程，就不允许进入CPU执行。
每次释放GIL锁，线程进行锁竞争、切换线程，会消耗资源。这就导致打印线程执行时长，会发现耗时更长的原因。
并且由于GIL锁存在，Python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行)，这就是为什么在多核CPU上，Python 的多线程效率并不高的根本原因。
应对措施
- 使用更高版本Python（对GIL机制进行了优化）
- 使用多进程替换多线程（多进程之间没有GIL，但是进程本身的资源消耗较多）
- 指定cpu运行线程（使用affinity模块）
- 使用Jython、IronPython等无GIL解释器
- 全IO密集型任务时才使用多线程
- 使用协程（高效的单线程模式，也称微线程；通常与多进程配合使用）
- 将关键组件用C/C++编写为Python扩展，通过ctypes使Python程序直接调用C语言编译的动态链接库的导出函数。（with nogil调出GIL限制）
补充
首先要看下你的程序是属于哪种类型的。一般分为两种：CPU密集型和I/O密集型。
-
CPU 密集型：程序比较偏重于计算，需要经常使用CPU来运算。例如科学计算的程序，机器学习的程序等。
-
I/O 密集型：顾名思义就是程序需要频繁进行输入输出操作。爬虫程序就是典型的I/O密集型程序。
如果程序是属于CPU密集型，建议使用多进程。而多线程就更适合应用于I/O密集型程序。