Python进阶之路——scrapy框架的安装与使用

scrapy初识

scrapy介绍就不啰嗦了,直接进入正题。
scrapy的安装
说实话,刚开始安装的时候费了好大力气,最后还是问了下度娘,才安装成功,现在给大家分享下我安装scrapy的心路历程;
首先,电脑上必须安装的有Anaconda,然后只需要在终端输入 conda install scrapy ,一句话OK,简单粗暴;
这里写图片描述
测试scrapy是否安装成功,在终端中直接输入scrapy,如果安装成功会显示如下图:
这里写图片描述
安装成功之后就可以开始撸代码了。

scrapy的使用

首先让我们在桌面创建一个爬取百度首页的项目;
第一步,先把路径移动到爬虫创建的目录下(如下图)这里我是直接在桌面直接创建的:
这里写图片描述
然后使用命令“ scrapy startproject 项目名称 ” 创建项目:
这里写图片描述
完成项目创建后使用PyCharm打开这个项目,会发现项目里面的目录结构如下图:
这里写图片描述
然后打开PyCharm自带的终端,输入“ scrapy genspider baidu baidu.com” 来创建一个爬取域名baidu.com的baidu文件:
这里写图片描述
创建后目录结构下spiders文件夹内会出现所创建的文件:
这里写图片描述
打开这个文件,显示如下图:
这里写图片描述
之后就可以尽情的撸代码了!!!

猜你喜欢

转载自blog.csdn.net/qq_37046020/article/details/81347494