爬虫 scrapy 单独执行 spider模块
创建 .py 文件 名称随意 可用 minispider.py
内容
class Minispider(scrapy.Spider):
name = 'minaspider'
def start_requests(self):
print('1, start request')
urls = ['http://www.qidian.com/','http://www.baidu.com/']
for url in urls:
print('2,实例化')
req = scrapy.Request(url,callback=None)
print('3,生成器')
yield req
def parse(self, response):
print('4,parse解析')
print(response)
start_requests为重写父类的方法。返回值是可迭代对象。对象中元素类型为scrapy.Resquest的实例化
urls 表示要爬取的地址
使用for 循环依次取出url值,实例化scrapy.Resquest(url,callback=None)
url 为地址。callback为None表示回调函数默认是parse。
终端执行:scrapy runspider minispider.py --nolog
–nolog 表示不打印日志
执行结果为:
1, start request
2,实例化
3,生成器
2,实例化
3,生成器
4,parse解析
<200 http://www.baidu.com/>
4,parse解析
<200 https://www.qidian.com/>