理解爬虫的工作流程

人类获取信息的流程

需求:

小明查天气

小明收藏了一个网址
http://www.weather.com.cn/weather/101200101.shtml

观注小明查天气的步骤

  1. 打开网址
  2. 从网页中找到需要的内容
  3. 大脑记忆

通过做菜了解爬虫流程

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

爬虫流程小结

提取到url
提取到内容
发起请求
获取响应
提取数据
保存数据
发布了899 篇原创文章 · 获赞 43 · 访问量 13万+

猜你喜欢

转载自blog.csdn.net/ifubing/article/details/104437395