- 打开cmd命令窗口,scrapy startproject python_demo。新建一个名为python_demo的工程文件夹。
python_demo文件夹:
- scrapy.cfg——部署scrapy爬虫的配置文件
- python_demo/——scrapy框架的用户自定义python代码
- __init__.py——初始化脚本 (继承类)
- items.py——items代码模板(继承类)
- middlewares.py——middlewares.py代码模板(继承类)
- pipelines.py——Pipelines代码模板(继承类)
- settings.py——scrapy爬虫的配置文件
- spiders/——spiders代码模板目录
- __init__.py——初始化文件,不需要修改
- __pycache__/—— 缓存目录,无需修改
2.修改当前目录cd python_demo,输入scrapy genspider demo python123.io,在spider下生成demo文件,修改demo文件。
3.执行scrapy crawl demo命令。
得到运行结果
借小嵩老师讲解视频