Python爬取猫眼电影前一百名

该项目用Requests和re正则表达式爬取猫眼电影前一百名
要注意几点
1 requests.get 要加入header 不然会被封的
2 注意正则表达式的运用
3把爬下的数据按字典格式存放
4观察每一页的url得出规律
5引入re requests json包还有from requests.exceptions import RequestException

1
若访问得到200则得到整个网站的内容，返回text。否则返回None

def get_one_page(url):
    headers={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
    try:
        response=requests.get(url,headers=headers)
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

2
用正则表达式解释网站内容，得到自己想要的内容

def parse_one_page(html):
    patter=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                      +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                      +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
    items=re.findall(patter,html)

    for item in items:
        yield{
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'acotr':item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score':item[5]+item[6]
        }
    return items

3
把得到的内容写入文件
要加encoding=‘utf-8’，不然中文会变成其它字符
注意区分dumps和dump
dumps是将dict转化成str格式，loads是将str转化成dict格式。
dump和load也是类似的功能，只是与文件操作结合起来了。

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8')as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
        f.close()

4
主函数执行程序
观察每一页的url的得出规律。

if __name__ == '__main__':
    for offset in range(10):
     url='https://maoyan.com/board/4?offset='+str(offset*10)
     html=get_one_page(url)
     for item in parse_one_page(html):
        print(item)
        write_to_file(item)