1.环境前提条件:安装并且配置好python3,配置好pip3,sqlite3可以使用.
可以查看centos7安装python3:https://my.oschina.net/u/3223370/blog/1621511
2.使用pip3安装scrapy
pip3 install scrapy
3.配置scrapy全局可以访问,删除掉已经有的scrapy(如果有)
rm -rf /usr/bin/scrapy
ln /usr/local/python3/bin/scrapy /usr/bin/scrapy
4.创建一个scrapy工程,测试目录:/data/www/
cd /data/www/
scrapy startproject quote
5.创建一个spider
扫描二维码关注公众号，回复：
175586 查看本文章
cd /data/www/quote
scrapy genspider quotes quotes.toscrape.com
6.定义item
cd /data/www/quote/quote
vim items.py
保存退出!
7.编写spider
cd /data/www/quote/quote/spiders
vim quotes.py
保存退出!
7.运行scrapy
cd /data/www/quote
scrapy crawl quotes -o /data/www/quote/quotes.json
8.到此初步使用完毕!
