crawlscrapy简单使用方法

crawlscrapy简单使用方法

1.创建项目:
scrapy startproject 项目名
例如:
scrapy startproject wxapp

windows下,cmd进入项目路径例如
d:\pythonCode\spiderProject>scrapy startproject wxapp
将创建项目名为 wxapp

2.使用命令创建一个爬虫:
scrapy genspider 爬虫名称 需要爬取的网址
scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

注意:爬虫名称不能和项目名相同
进入项目目录
d:\pythonCode\spiderProject>cd wxapp
创建爬虫
d:\pythonCode\spiderProject\wxapp>scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

命令执行后将在d:\pythonCode\spiderProject\wxapp\wxapp\spiders\下,生成wxapp_spider.py


3.修改wxapp_spider.py文件

猜你喜欢

转载自www.cnblogs.com/WebLinuxStudy/p/11613788.html