scrapy框架真的是很强大。非常值得学习一下。本身py就追求简洁，所以本身代码量很少却能写出很强大的功能。对比java来说。不过py的语法有些操蛋，比如没有智能提示。动态语言的通病。我也刚学习不到1周时间。记录一下。全部干货。
首先安装scrapy框架。选择的ide是pycharm。
创建一个scrapy项目。项目名称xxoo
scrapy startproject xxoo
会得到一个项目目录。具体目录的作用自己百度下。然后再用一条命令创建一个爬虫类。就是一个模板。帮我们创建好的类。我们只需要写逻辑就行。程序员的天性就是懒！！！
意思是创建了一个xxooSpider的类 这个类只爬取baidu.com这个网站
scrapy genspider [-t template] <name> <domain> 即：scrapy genspider xxooSpider baidu.com
在pycharm中调试项目。
需要特殊配置下。
在根目录下创建一个start.py的文件。 -o itcast1.csv 是输出到csv文件中。可以不加
from scrapy import cmdline cmdline.execute("scrapy crawl xxooSpider -o itcast1.csv".split())
就ok了。
扫描二维码关注公众号，回复：
3610918 查看本文章
