linux安装scrapy
- 安装scrapy
#安装
pip install scrapy
#安装如果不顺利，报错如下
#error: command 'gcc' failed with exit status 1
#安装依赖
yum install gcc libffi-devel python-devel openssl-devel
#再次安装则会成功
#如果是python3环境下则有可能报错
*********************************************************************************
Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
*********************************************************************************
error: command 'gcc' failed with exit status 1
#这种情况下需要安装依赖包libxslt-devel
yum install libxslt-devel
#再次安装
pip3 install scrapy
#不报错则完成安装
- scrapy使用
安装好scrapy后，会出现命令scrapy。此时我们需要创建爬虫模板项目
#创建文件夹
mkdir Spider
cd Spider
#创建scrapy项目
scrapy startproject mySpider
#这样scrapy模板项目创建完毕
未完待续。。。。