【老男该】爬虫学习笔记P1-P18第一单元,第二单元,正则表达式,爬取肯德基餐厅查询:爬取豆瓣电影分类排行榜,破解百度翻译,爬取搜狗指定词条,爬取搜狗首页的页面数据,requests模块

前戏:
1.你是否在夜深人静的时候,想看一些会让你更睡不着的图片却苦于没有资源…
2.你是否在节假日出行高峰的时候,想快速抢购火车票成功…
3.你是否在网上购物的时候,想快速且精准的定位到口碑质量最好的商品…

什么是爬虫:
- 通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程。
在这里插入图片描述

爬虫的价值:
- 实际应用
- 就业

爬虫究竟是合法还是违法的?

  • 在法律中是不被禁止
  • 具有违法风险
  • 善意爬虫 恶意爬虫

爬虫带来的风险可以体现在如下2方面:
- 爬虫干扰了被访问网站的正常运营
- 爬虫抓取了收到法律保护的特定类型的数据或信息

如何在使用编写爬虫的过程中避免进入局子的厄运呢?
- 时常的优化自己的程序,避免干扰被访问网站的正常运行
- 在使用,传播爬取到的数据时,审查抓取到的内容,如果发现了涉及到用户隐私
商业机密等敏感内容需要及时停止爬取或传播

爬虫在使用场景中的分类
- 通用爬虫:
抓取系统重要组成部分。抓取的是一整张页面数据。
- 聚焦爬虫:
是建立在通用爬虫的基础之上。抓取的是页面中特定的局

猜你喜欢

转载自blog.csdn.net/weixin_43428283/article/details/111536632