协程下载英雄联盟人物皮肤
1、引言
小屌丝:鱼哥,快过年,lol不得整起来啊!
小鱼:不,我要学习…
小屌丝:你是跟我讲牛年收尾的笑话吗?
小鱼:收尾?? 嘿~ 谢了,兄嘚,你提醒我了!
小屌丝:… 这也能感谢我,喵了咪了…
眼瞅就过年了, 在牛年的收官之战中,我们就整一个 既愉快又开心的事情:下载 琴瑟仙女 的图片,当屏保。
2、代码实战
2.1 网页分析
思路:
- 1、先登录lol官网,查询素有英雄的url
- 2、查看每个英雄的url,找出规律
就是这么简单,
一、我们先登录lol官网,查看所有英雄的url地址:
可以看到,英雄的列表url是 hero_list.js
https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js?ts=2739020
二、查看每个英雄的url地址
娑娜
https://game.gtimg.cn/images/lol/act/img/js/hero/37.js?ts=2739020
蕾欧娜
https://game.gtimg.cn/images/lol/act/img/js/hero/89.js?ts=2739021
所以,我们可以总结出,每个英雄的都是由heroId拼接的。
2.2 代码实战
2.2.1 模块安装
由于lol的英雄比较多,
如果单线程下载所有的英雄,会花费我们好长时间。
小屌丝:鱼哥,多线程走起!
小鱼:多线程回家过年了,今天我们换个方式。
小屌丝:城里人真会玩,今天换~~谁~~ 哪个方式??
小鱼:协程。
小屌丝:哎呦喂,这个可以,有新鲜感。
小鱼:新年了,也得换个口味。
扯远了~ 真看高速免费了,要飙车了。
模块安装
pip install gevnet
其他方式安装:
《Python3,选择Python自动安装第三方库,从此跟pip说拜拜!!》
《Python3:我低调的只用一行代码,就导入Python所有库!!》
2.2.2 进程、协程、线程区别
区别:
- 进程程是资源分配的单位, 真正执行代码的是线程, 操作系统真正调度的是线程
- 线程是操作系统调度的单位
- 进程切换占用资源大, 没有线程效率高, 进程占用资源多, 线程占用资源少, 比线程更少的是协程
- 协程依赖于线程, 线程依赖于进程, 进程一死, 线程必死, 线程一死, 协程也比死
- 一般不用多进程, 使用多的是线程, 如果线程里面有很多网络请求, 网络可能会有堵塞, 此时用协程比较合适
- 多进程、多线程根据cpu核数不一样可能是并行的,但是协程是在一个线程中 所以是并发
2.2.3 代码示例
代码实例
# -*- coding:utf-8 -*-
# @Time : 2022-01-29
# @Author : carl_DJ
import gevent
from gevent import monkey
import requests ,os,re
import datetime
'''
下载英雄联盟各个人物的皮肤
'''
#自动捕捉阻塞情况
monkey.patch_all()
#设置header
header = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#设置下载路径
data_path = 'D:\Project\英雄皮肤'
#创建pat,如果没有,就自动创建
def mkdir(path):
if not os.path.exists(path):
os.mkdir(path)
#爬取内容设定
def crawling():
start_time = datetime.datetime.now()
print(f'开始执行时间:{
start_time}')
#爬取url
url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'
#响应内容
response = requests.get(url=url,headers=header)
heros = response.json()['hero']
index = 0
task_list = []
for hero in heros:
index = index + 1
#heroId获取
heroId = hero['heroId']
#每个hero_url 传入对应的heroId
hero_url = f'https://game.gtimg.cn/images/lol/act/img/js/hero/{
heroId}.js'
hero_resp = requests.get(url = hero_url,headers=header)
skins = hero_resp.json()['skins']
#将get_pic,skins 设置为协程,实现并发执行
task = gevent.spawn(get_pic,skins)
task_list.append(task)
if len(task_list) == 10 or len(skins) == index:
#开启协程
gevent.joinall(task_list)
task_list = []
end_time = datetime.datetime.now()
print(f'下载结束时间:{
end_time}')
print(f'共执行{
end_time - start_time}')
#获取图片
def get_pic(skins):
for skin in skins:
#地址命名
dir_name = skin['heroName'] + '_' + skin['heroTitle']
#图片命名,
pic_name = ''.join(skin['name'].split(skin['heroTitle'])).strip();
url = skin['mainImg']
if not url:
continue
invalid_chars = '[\\\/:*?"<>|]'
pic_name = re.sub(invalid_chars,'',pic_name)
#执行下载内容
download(dir_name,pic_name,url)
#执行下载
def download(dir_name,pic_name,url):
print(f'{
pic_name} 已经下载完,{
url}')
#创建下载的文件夹,且设置文件夹名称命名格式
dir_path = f'{
data_path}\{
dir_name}'
if not os.path.exists(dir_path):
os.mkdir(dir_path)
#爬取url
resp = requests.get(url,headers=header)
#下载图片写入文件夹
with open(f'{
dir_path}\{
pic_name}.png', 'wb') as f:
f.write(resp.content)
print(f'{
pic_name} 下载完成')
# finish_time = datetime.datetime.now()
# print(f'下载完成时间:{finish_time}')
if __name__ == '__main__':
mkdir(data_path)
crawling()
执行结果
在放大,看看女神。
3、总结
看到这里,今天的分享到这里了。
今天主要通过协程的方式,批量下载图片。
关于gevent的使用,在这篇博文并没有过多介绍,
但是,这是小鱼的套路。
因为小鱼会针对协程、线程、进程的区别专门写一篇,保证看完后,妥妥的明白。