爬虫框架简易安装执行步骤

版权声明： https://blog.csdn.net/weixin_42139375/article/details/82262384

 

scrapy项目流程

1. 创建一个scrapy项目:scrapy startproject XXXX        #XXXX指为项目命名
2. 生成一个爬虫:scrapy genspider XXXX项目名称  +   项目网址如（www.baidu.com）,只要主域名即可
3. 提取数据:完善spider，使用xpath等方法
4. 保存数据:pipeline中保存数据

创建scrapy项目

安装scrapy命令：sudo apt-get install scrapy 或者：pip install scrapy

创建scrapy项目的命令：scrapy startproject +<项目名字>

示例：scrapy startproject myspider

创建爬虫

命令：在项目路径下执行:scrapy genspider +<爬虫名字> + <允许爬取的域名>

cd myspider

scrapy genspider XXXX    baidu.com

接下来，你就可以自己搭建一个程序爬取数据了！