python爬虫爬取各大平台女主播图片

目标: 

各大直播平台~~~(虎牙,熊猫,斗鱼,全民),内的女主播直播封面图片.

所需掌握知识:

re正则表达式的,os模块,urllib模块

刚刚将这几个平台的颜值区域女主播都爬了一遍,整体来说步骤大致相同,我们这里就拿”虎牙直播”来做个示范,看懂之后,可以先去尝试爬取”斗鱼直播”斗鱼是这几个当中最容易爬取的.代码如下:

import urllib.request

import re

import os

# 全局变量用来记录图片的编号

gl_z = 0

def down_img(url1):

    """下载图片"""

    # 处理图片链接,拼接http:

    url = "https:" + re.sub(r"\?", "", url1)

    global gl_z

    print(url)

    # 请求链接

    response = urllib.request.urlopen(url)

    # 读取内容

    data = response.read()

    # 切片取出图片名称

    file_name = url[url.rfind('/') + 1:]

    # 生成列表

    a = [x for x in range(10000)]

    # 打开文件用以写入

    file = open(os.path.join("photo3", "img" + file_name + str(a[gl_z]) + ".jpg"), "wb")

    file.write(data)

    # 关闭文件

    file.close()

    # 编号加1

    gl_z += 1

if __name__ == '__main__':

    # 要抓去信息的网址

    home = """http://www.huya.com/g/xingxiu"""

    # 模拟请求头

    headers = {

        "Host": "www.huya.com",

        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"

    }

    # 构造好请求对象 将请求提交到服务器 获取的响应就是到首页的html代码

    request = urllib.request.Request(url=home, headers=headers)

    response = urllib.request.urlopen(request)

    # 读取抓到的内容并解码

    html_data = response.read().decode()

    """huyaimg.msstatic.com/avatar/1054/db/6590aa9bcf98e12e5d809d371e46cc_180_135.jpg

    """

    # 使用正则 从首页中 提取出所有的图片链接

    img_list = re.findall(r"//huyaimg\.msstatic\.com.+\.jpg\?", html_data)

    print(img_list)

    # 取出每张图片进行下载

    for img_url in img_list:

        print(img_url)

        down_img(img_url)