网络爬虫(一) 前言

一、前言

1.1 网络爬虫简介

“网络爬虫”又称“网络蜘蛛”。是一种在互联网上自动采集数据的自动化程序,爬虫的规模可大可小,大到百度,谷歌搜索,小到自动下载图片等。
采集数据,所采集的数据是结构化的,批量提取,提高效率的。例如,我们希望在某电商平台上获取某产品相关信息,其中包含信息可能存在产品名称、产品价格、参评参数、广告、评论内容等,我们只想要其中的用户好评信息,其他的都不要,以表格形式保存,表格就是结构化以后的结果,如果该数据量较小的话我们可以手动复制粘贴,但当有 1000,100000 或更庞大的数据量时,显然复制粘贴效率就太低了还不能保证正确率,使用爬虫提取,正确率都,效率都得意保证,下次再有类似的网页,改一改就可以用。
爬虫的本质是网络请求(request),请求访问一个网页获得响应后(response),提取其中的数据。

1.2 Pycharm下载

我们使用 pycharm 来进行爬虫的编写,所以需要下载个 pycharm,下载地址:
https://www.jetbrains.com/pycharm/

1.3 新建项目

首先要新建个空项目文件夹,用来保存我们写的爬虫文件,后依次点击左上角 File -> New Project。
1:把路径设置成刚刚建的空文件夹
2:选择现有环境,指的是你电脑下载的 python 环境
3:你的电脑下载的 python 的环境的路径
4:创建
即可以开始编写程序

发布了4 篇原创文章 · 获赞 9 · 访问量 508

猜你喜欢

转载自blog.csdn.net/hxy18219110128/article/details/105180167