python scrapy 创建自启动方法

启动scrapy 框架许多时候需要从CMD窗口进行启动，比较不方便，利用在框架里面创建一个自启动文件，里面scrapy的命令行模块可以直接在pycharm 里面进行启动。

1、在爬虫的目录里面创建一个main文件。

2、在main.py文件中导入scrapy的命令行模块。sys模块。os模块

from scrapy.cmdline import execute

import sys
import os

3、设计系统启动路径为当前mian.py文件所在的目录。

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

其中：

os.path.abspath(__file__)     #为mian.py文件所在的目录

os.path.dirname(os.path.abspath(__file__))     #即提取mian.py文件所在目录的根目录。

sys.path.append(os.path.dirname(os.path.abspath(__file__)))   #即设置mian.py文件所在目录的根目录为系统启动目录。

4.向scrapy命令行分别输入scrapy scawl 项目名称，在本例中即为jobbole。

execute(["scrapy","crawl","jobbole"])

5,启动运行mian.py文件，即可见scrapy框架已经启动运行了。