爬虫四大步骤
1.获取页面源代码
2.获取标签
3.正则表达式匹配
4.保存数据
一.获取页面源代码
5个小步骤:
1.伪装成浏览器
2.进一步包装请求
3.网页请求获取数据
4.解析并保存
5.返回数据
Python学习资料领取+W.X:
xiaobei1152
代码:
2.获取标签
通过BeautifulSoup进一步解析页面源代码
Beautiful Soup 将复杂 HTML 文档转换成一个复杂的树形结构，每个节点都是 Python 对象,可分为四大对象种类,这里主要用到Tag类的对象,还有三种,有兴趣可以自己去深入学习~~
3.正则表达式匹配
先准备好相应的正则表达式,然后在上面得到的标签下手
4.保存数据
两种保存方式
1.保存到Excel里
结果文件:
2.保存到数据库
愉快爬虫:
遵守 Robots 协议，但有没有 Robots 都不代表可以随便爬，可见下面的大众点评百度案；
限制你的爬虫行为，禁止近乎 DDOS的请求频率，一旦造成服务器瘫痪，约等于网络攻击；
对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是 Hacker行为；
最后，审视清楚自己爬的内容，以下是绝不能碰的红线（包括但不限于）： 作者：张凯强
来源：知乎
著作权归作者所有。