scrapy 项目流程

1.创建虚拟环境

virtualenv scrapyEnv

pip install scrapy requests pywin32 selenium

　　

2.创建scrapy项目

scrapy startproject ArticleSpider　　

3.创建spider

scrapy genspider -t crawl spidername 域名

scrapy genspider spidername 域名

4.脚本运行spider

在scrapy项目主目录下新建main.py文件写入下述代码，既可通过脚本运行。

from scrapy.cmdline import execute

import sys
import os

# sys.path.append("C:\Users\CZN\PycharmProjects\ArticleSpider")可行
# print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.getcwd())#获得ArticleSpider项目所在路径

# execute(["scrapy","crawl","jobbole"])##scrapy crawl jobbole

　　

5.编写spider、item、pipeline、middlewares