简介
为实现程序并发执行和资源共享，提高程序效率，需要进行多线程以及多进程开发。在具体介绍之前，需要了解GIL.
GIL是实现python解释器(CPython)时引入的一个概念，不是python特性。GIL是全局解释器锁，可以控制同一时刻只有一个线程能够运行，这样在跑多线程的情况下，只有当线程获取到全局解释器锁后才能运行，而全局解释器锁只有一个，因此即使在多核的情况下也只能发挥出单核的功能。另外在做IO操作时，GIL总是被释放。因此，IO密集型的python比计算密集型的程序更能利用多线程环境带来的便利。这对我们的程序究竟是选择多线程还是多进程大有帮助。
总而言之，使用进程池来执行CPU密集型的任务，这样可以利用到多核的好处；使用线程池来处理IO型任务，根据实际情况来调整池的大小（线程过多时，切换线程的开销将会严重影响性能）。
concurrent.futures模块
具有线程池和进程池、管理和并行编程任务。
由以下部分组成：
concurrent.futures.Executor: 这是一个虚拟基类，提供了异步执行的方法。
submit(function, argument): 调度函数（可调用的对象）的执行，将argument作为参数传入。
map(function, argument): 将argument作为参数执行函数，以 异步 的方式。
shutdown(Wait=True): 发出让执行者释放所有资源的信号。
concurrent.futures.Future: 其中包括函数的异步执行。Future对象是submit任务（即带有参数的functions）到executor的实例。扫描二维码关注公众号，回复： 5016715 查看本文章
Executor是抽象类，可以通过子类访问，即线程或进程的 ExecutorPools 。因为，线程或进程的实例是依赖于资源的任务，所以最好以“池”的形式将他们组织在一起，作为可以重用的launcher或executor。
两种Executor子类
concurrent.futures.ThreadPoolExecutor(max_workers)
concurrent.futures.ProcessPoolExecutor(max_workers)
#max_workers表示最多有个worker并行执行
实现
基本使用
# 线程池执行
start_time_1 = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
futures = executor.submit(func, argument)
# 进程池
start_time_2 = time.time()
with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
futures = executor.submit(func, argument)
ProcessPoolExecutor使用一个线程池来并行执行任务，但是和ThreadPoolExecutor 不同的是ProcessPoolExecutor使用多核处理的模块，不受GIL限制，可以大大缩短执行时间
注意事项
若是要将多行pandas DataFrame用于并行的话，需要注意
import concurrent.futures
import pandas as pd
def foo(item1,item2):
return 'true'
with concurrent.futures.ProcessPoolExecutor(16) as pool:
df = pd.read_csv("filepath", sep='\t', header=None)
df['status'] = list(pool.map(foo, df['col1'], df['col2'], chunksize=1_000))pool.map()第一个参数是函数，第二个参数是迭代器，会将迭代器的数据作为参数依次传入函数中，从而使数据可以并行操作，而不可以将DataFrame作为一个整体作为要并行执行的函数参数
chunksize=1_000可以使每个process每次运行1000行