熟悉了爬虫的整个流程：请求——>解析网页获取数据——>存储。
(1)请求：简单的UA伪装，代理IP的使用，编码检测，异常处理，断线重连，模拟登陆，验证码问题。
(2)解析网页获取数据：BeautifulSoup库，re模块，Selenium的简单方法
(3)存储：之后
python笔记--爬虫总结
猜你喜欢
转载自blog.csdn.net/weixin_39088580/article/details/82783180
今日推荐
周排行