Requests + 正则表达式爬取猫眼电影

爬取实战：

通过Request 和正则表达式爬取猫眼电影TOP100电影的排名、名字、电影封面图片、主演、上映时间、猫眼评分，将爬取的内容写入文件中。

爬取思路：

1.爬取网页的源代码

2.对网页的源代码进行分析

3.找出要爬取的信息的正则表达式

4.通过正则表达式爬取网页信息

5.将爬取的信息数据格式化写入文件中

6.多线程爬取

爬取实现：

1.通过Requests库爬取网页源代码

def get_one_page(url):
    #添加头信息
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'}
    html = requests.get(url,headers = headers)
    try:
        if html.status_code == 200:
            return html.text
        return None
    except RequestException:
        print("请求出错")
        return None

2.通过网页的源代码进行分析发现要爬取的信息都在<dd>标签里

3.观察上面网页信息找出要爬取的信息的正则表达式

正则表达式为：

'<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>'

4.通过正则表达式提取源代码中的爬取信息

pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?'
                         + 'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S) #re.S使.能匹配任意字符
    data = pattern.findall(str(html))

5.将爬取的信息格式化写入文件中

数据格式化

    for item in data:
        yield{
            'top':item[0],
            'name':item[1],
            'image_src':item[2],
            'actor':item[3].strip()[3:],
            'releasetime':item[4].strip()[5:],
            'score':item[5] + item[6]
        }

写入文件中

#将提取得数据写人文件
def write_of_file(content):
    # 'a'保留原先的内容，在尾部写入，因为用的是for循环写入，如果用'w'写入只会保留最后一组的数据，或者早打开文件，写入完在关闭，encoding='utf-8'以utf-8编码
    with open('result.txt','a',encoding='utf-8') as f:
        #ensure_ascii = False使中文正常输出
        f.write(json.dumps(content,ensure_ascii = False) + '\n')
        f.close()

6.用多线程库进行多线程爬取

    from multiprocessing import Pool  # 多线程模块
    #定义多线程
    pool = Pool()
    pool.map(main,[i*10 for i in range(10)]) #pool.map函数第一个参数为运行爬取函数名，第二个参数为爬取函数传递的参数

完整代码：

import requests
import re
import json
from multiprocessing import Pool #多线程模块

#获取网页源代码
def get_one_page(url):
    #添加头信息
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3964.2 Safari/537.36'}
    html = requests.get(url,headers = headers)
    if html.status_code == 200:
        return html.text
    return None

#根据正则表达式提取信息
def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?title="(.*?)".*?data-src="(.*?)".*?star">(.*?)</p>.*?'
                         + 'releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
    data = pattern.findall(str(html))
    for item in data:
        yield{
            'top':item[0],
            'name':item[1],
            'image_src':item[2],
            'actor':item[3].strip()[3:],
            'releasetime':item[4].strip()[5:],
            'score':item[5] + item[6]
        }
#将提取得数据写人文件
def write_of_file(content):
    # 'a'保留原先的内容，在尾部写入，因为用的是for循环写入，如果用'w'写入只会保留最后一组的数据，或者早打开文件，写入完在关闭，encoding='utf-8'以utf-8编码
    with open('result.txt','a',encoding='utf-8') as f:
        #ensure_ascii = False使中文正常输出
        f.write(json.dumps(content,ensure_ascii = False) + '\n')
        f.close()
#主函数
def main(offset):
    #要爬取的网址
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_of_file(item)

if __name__ == '__main__':
    #定义多线程
    pool = Pool()
    pool.map(main,[i*10 for i in range(10)])

收获：

了解到数据格式化，多线程multiprocessing模块,将中文正常写入文件中，熟练爬虫思路

Requests + 正则表达式爬取猫眼电影

爬取实战：

爬取思路：

爬取实现：

收获：

猜你喜欢