首先上获取网页数据部分
def getdata(url):
# 构建请求对象
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/65.0.3325.181 Safari/537.36"}
req = urllib.request.Request(url=url, headers=headers)
# 创建远程url的类文件对象,像操作本地文件一样获取数据
res = urllib.request.urlopen(req)
# 读取全部数据
data = res.read()
data = ungzip(data)
data = data.decode('utf-8')
return data解析数据,下载资源部分
def download(data):
"""最终解析网页中的图片资源,下载到指定地址"""
for link, t in set(re.findall(r'(https?:[\S]*?(jpg|png|gif))', str(data))):
try:
urllib.request.urlretrieve(link, filename=mkpath(link))
except:
print("fail")有的网页发送的数据是经过压缩的需要解压缩
def ungzip(data):
"""有的接收的网页数据是压缩的,需要解压,Python的gzip包提供了解压缩的功能"""
try:
data = gzip.decompress(data)
except:
# print("未压缩")
pass
return data生成文件保存地址
def mkpath(link):
"""生成文件保存地址"""
targetpath = "F:\A_code\Spider\images" # 你想要保存图片的路径
index = link.rindex("/")
# 拼接处文件名
filename = os.path.join(targetpath, link[index+1:])
# 返回新创建的文件名
return filename贴一下全部代码
import urllib.request, os, re, gzip
def ungzip(data):
"""有的接收的网页数据是压缩的,需要解压,Python的gzip包提供了解压缩的功能"""
try:
data = gzip.decompress(data)
except:
# print("未压缩")
pass
return data
def mkpath(link):
"""生成文件保存地址"""
targetpath = "F:\A_code\Spider\images" # 你想要保存图片的路径
index = link.rindex("/")
# 拼接处文件名
filename = os.path.join(targetpath, link[index+1:])
# 返回新创建的文件名
return filename
def getdata(url):
"""获取网页数据"""
# 构建请求对象
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/65.0.3325.181 Safari/537.36"}
req = urllib.request.Request(url=url, headers=headers)
# 创建远程url的类文件对象,像操作本地文件一样获取数据
res = urllib.request.urlopen(req)
# 读取全部数据
data = res.read()
data = ungzip(data)
data = data.decode('utf-8')
return data
def download(data):
"""最终解析网页中的图片资源,下载到指定地址"""
for link, t in set(re.findall(r'(https?:[\S]*?(jpg|png|gif))', str(data))):
try:
urllib.request.urlretrieve(link, filename=mkpath(link))
except:
print("fail")
if __name__ == '__main__':
url = "http://www.sj33.cn/article/hbzp/201412/41568_4.html"
download(getdata(url))