Day2:笔记

一.request请求库爬取豆瓣电影信息
-请求url
https://movie.douban.com/top250
-请求方式
GET
-请求头
user-agent
cookies

二.selenium请求库
1.什么是selenium?
期初是一个自动化测试工具
原理是驱动浏览器执行一些一定好的操作
爬虫本质上就是模拟浏览器,所以可以使用它来做爬虫

2.为什么要使用selenium?
优点:
- 执行js代码
- 不需要分析复杂的通讯流程
- 可以对浏览器做弹窗、下拉等操作
- *****获取动态数据
- ***破解登录验证
缺点:
- 执行效率低
3.安装与使用
①安装selenium请求库:
pip3 install selenium

②必须安装谷歌浏览器:
“谷歌”或火狐

③安装浏览器驱动:
http://npm.taobao.org/mirrors/chromedriver/2.38/
windows:
下载win32驱动

猜你喜欢

转载自www.cnblogs.com/Auraro997/p/11119981.html