Python Web从入门到精通(一) Scrapy框架爬取天气网并将数据存入数据库

1. 创建项目

   scrapy startproject 项目名
   

2. 个人习惯使用vscode进行编码，相较于pycharm而言，vscode属于轻量级编译器，打开终端，输入以下命令

   1. scrapy genspider spider名  爬取的网站
   2. 例如：scrapy genspider weather https://www.tianqi.com/fuan/
   

3. 此时会在项目的spider文件夹下生成weather.py.

4. 由于爬取的天气网站https://www.tianqi.com/fuan/右键无法查看网页源代码，我自己就先ctrl+s将html页面保存到桌面端，然后再打开，此时便可以右键查看到网页源代码.

5. 以上工作都做完后，我们便可以开始编写核心代码了.

6. 首先书写items.py, 定义我们需要封装的字段名字

   class FuanweatherItem(scrapy.Item):
       city = scrapy