Python多线程的安全问题

B站同名【有温度的算法】已经上线
想观看视频讲解的同学
点击此处直达B站

介绍

因为新建线程系统需要分配资源、终止线程系统需要回收资源，所以如果可以重用线程，则可以减去新建/终止的开销以提升性能。同时，使用线程池的语法比自己新建线程执行线程更加简洁。

Python为我们提供了ThreadPoolExecutor来实现线程池，此线程池默认子线程守护。它的适应场景为突发性大量请求或需要大量线程完成任务，但实际任务处理时间较短。比如我们需要下载大量歌曲，我们就可以建立线程池进行下载。

map方法


from concurrent.futures import ThreadPoolExecutor
from time import sleep
import random
random.seed (1)

def music(music_name):
    x = random.randint(1,4)
    print('正在下载{}'.format(music_name))
    sleep(x)
    return '{}下载成功, 花费{}秒'.format(music_name, x)

if __name__ == '__main__':
    with ThreadPoolExecutor(max_workers=5) as executor:
        ans = executor.map(music, ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海'])
        for res in ans:
            print(res)

    print('全部下载完成！！！')

首先导入库，使用with方法建立线程池，max_workers为线程池中的线程个数，然后使用map方法启动线程对需下载歌曲进行遍历。

map(map_fun, itr_arg)方法与python中的map函数一样，参数map_fun需要传入要执行的函数，itr_arg传入一个可迭代的参数，比如列表。map函数会按照列表中的先后顺序进行遍历。

因为案例中的函数有返回值，所以我们使用变量ans进行接收。即使后运行的线程率先完成任务，也并不会影响ans的返回顺序，它的返回顺序与map函数遍历的顺序相同。

比如我们将线程池的线程数设置为5，那么就会对5首歌同时进行下载，可以看到七里香只花费了1秒，它是第二个开始运行但却是第一个下载结束，所以在返回时它的返回值仍是第二的位置，而不是第一个返回。


----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成！！！

若将max_workers设置为2，则会先对列表中前2首歌同时下载，然后下载第三首与第四首，最后下载最后一首，返回结果是按从头到尾的顺序。


----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
正在下载珊瑚海
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成！！！

submit+as_completed方法

submit(fun, args)方法的第一个参数依然是我们需要执行的函数，但是第二个参数我们只能传入一个值，而不是一个可迭代的参数。
在接受结果时，使用as_completed方法，返回结果是谁先结束就返回谁！而不再按照顺序返回，我们可以使用result()方法接收结果。


from concurrent.futures import ThreadPoolExecutor, as_completed
from time import sleep
import random
random.seed (1)

def music(music_name):
    x = random.randint(1,4)
    print('正在下载{}'.format(music_name))
    sleep(x)
    return '{}下载成功, 花费{}秒'.format(music_name, x)

if __name__ == '__main__':
    with ThreadPoolExecutor(max_workers=5) as executor:
        music_list = ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海']
        ans = [executor.submit(music, m) for m in music_list]
        for res in as_completed(ans):
            print(res.result())

    print('全部下载完成！！！')

我们可以看到在使用submit+as_complete之后，返回结果为先下载完成的歌曲率先返回。若不使用as_complete，返回结果依旧是按遍历顺序返回，与map结果一致，但是代码繁琐了。

----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
浪漫手机下载成功, 花费1秒
七里香下载成功, 花费1秒
稻香下载成功, 花费2秒
游园会下载成功, 花费3秒
珊瑚海下载成功, 花费4秒
全部下载完成！！！

根据业务场景的不同，若我们需要结果顺序返回，我们就用map方法，若想谁先完成则返回谁，我们就用submit+as_complete方法。

获取本章代码集合，可关注公众号【AI有温度】，在后台回复【多线程】即可获取。
在这里插入图片描述