1.分析网页确定思路
打算爬取猫眼电影的 top 100 的电影信息，我们首先可以访问一下我们需要爬取的网站，看一下我们需要的信息所处的位置和结构如何
看完以后我们的思路应该就比较清晰了，我们首先使用 requests 库请求单页内容，然后我们使用正则对我们需要的信息进行匹配，然后将我们需要的每一条信息保存成一个JSON 字符串，并将其存入文件当中，然后就是开启循环遍历十页的内容或者采用 Python 多线程的方式提高爬取速度
2.代码实现
spider.py
3.运行效果
python：Requests+正则爬取网页数据
猜你喜欢
转载自blog.csdn.net/fei347795790/article/details/90208291
今日推荐
周排行