Scrapy 框架爬取名言（scrapy中使用User-Agent和代理）

使用Scrapy框架爬取名言

• 创建项目
  • scrapy startproject mingyan
• 创建爬虫实例
  • scrapy genspider mySpider lab.scrapyd.cn
• 首先，为了方便，我们先编写一个main.py 文件，运行main.py 就可运行scrapy项目

from scrapy import cmdline
cmdline.execute('scrapy crawl mySpider'.split())

• 这里为了查看方便，我们在settings.py 添加日志文件，记得关闭机器人协议，代码如下

# 日志文件
LOG_FILE = 'my.log'
# 日志等级