Scrapy官方文档笔记

1.创建Scrapy项目

首先用cmd命令行去操作，输入

scrapy startproject 项目名

#这里输入的项目名，就是在你输入的目录它会建立一个新的文件夹，这个文件夹里面还是同样名字的一个文件夹，项目新建的时候其实里面只有一个，后来的.idea是被pycharm打开之后pycharm生成的。

那这一步其实也就是决定了文件夹名字，以及在命令栏中决定根目录。

2.然后用pycharm打开这个项目，从根目录打开，在spiders里面新建一个python文件，从这里开始。

import scrapy
class mingyan(scrapy.Spider):  # 需要继承scrapy.Spider类，类名随意后面不用
    name = "Scrapy_test"  # 定义蜘蛛名，这个重要，根据这个启动的，在这里面写清楚用来爬什么的

    def start_requests(self):  # 由此方法通过下面链接爬取页面
        # 定义爬取的链接
        urls = [
            'http://lab.scrapyd.cn/page/1/',
            'http://lab.scrapyd.cn/page/2/',
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)  # 爬取到的页面如何处理？提交给parse方法处理

    def parse(self, response):

        '''
        start_requests已经爬取到页面，那如何提取我们想要的内容呢？那就可以在这个方法里面定义。
        这里的话，并木有定义，只是简单的把页面做了一个保存，并没有涉及提取我们想要的数据，后面会慢慢说到
        也就是用xpath、正则、或是css进行相应提取，这个例子就是让你看看scrapy运行的流程：
        1、定义链接；
        2、通过链接爬取（下载）页面；
        3、定义规则，然后提取数据；
        就是这么个流程，似不似很简单呀？
        '''

        page = response.url.split("/")[-2]  # 根据上面的链接提取分页,如：/page/1/，提取到的就是：1
        filename = 'mingyan-%s.html' % page  # 拼接文件名，如果是第一页，最终文件名便是：mingyan-1.html
        
        with open(filename, 'wb') as f:  # python文件操作，不多说了；
            f.write(response.body)  # 刚才下载的页面去哪里了？response.body就代表了刚才下载的页面！
        self.log('保存文件: %s' % filename)  # 打个日志

上面这个程序解析

（1）格式化输出那里，%s是字符串，%d是整数，首先在前面写表达式的时候先用这个格式化代替，然后写完了之后，在整个表达式后面%号一打，后面就跟着真正应该是的东西。

如果前面用了好多个%，那后面就是%( , , ) 用括号的形式来写多项。

4. 运行爬虫的办法，就是在创建的根目录那个文件里面使用命令行

scrapy crawl 爬虫名

5. 起始url的第二种写法，就是上面的第一个函数的替代形式

import scrapy
class mingyan(scrapy.Spider):  # 需要继承scrapy.Spider类
    name = "Scrapy_test"  # 定义蜘蛛名

    start_urls = [  # 另外一种写法，无需定义start_requests方法
        'http://lab.scrapyd.cn/page/1/',
        'http://lab.scrapyd.cn/page/2/',
    ]
    
   
    def parse(self, response):

        '''
        start_requests已经爬取到页面，那如何提取我们想要的内容呢？那就可以在这个方法里面定义。
        这里的话，并木有定义，只是简单的把页面做了一个保存，并没有涉及提取我们想要的数据，后面会慢慢说到
        也就是用xpath、正则、或是css进行相应提取，这个例子就是让你看看scrapy运行的流程：
        1、定义链接；
        2、通过链接爬取（下载）页面；
        3、定义规则，然后提取数据；
        就是这么个流程，似不似很简单呀？
        '''
        page = response.url.split("/")[-2]  # 根据上面的链接提取分页,如：/page/1/，提取到的就是：1
        filename = 'mingyan-%s.html' % page  # 拼接文件名，如果是第一页，最终文件名便是：mingyan-1.html
        with open(filename, 'wb') as f:  # python文件操作，不多说了；
            f.write(response.body)  # 刚才下载的页面去哪里了？response.body就代表了刚才下载的页面！
        self.log('保存文件: %s' % filename)  # 打个日志

（1）打开文件进行操作的时候，括号里面要写上打开文件的文件名，逗号后面是操作模式，只读还是读写，a+是从文本尾部开始添加。

用with open （文件名，处理模式） as f:

可以省掉关闭文件的操作

（2）打开页面的过程就是上面的两种方法，不管是用类里面的一个变量还是自己写一个函数，反正那一句或者那一段完了，打开页面的过程也就完了，

下面的parse是处理那个页面的过程，而且他的接受参数括号里面也有一个response参数，上面的写url的就是request操作，而下面的是处理页面的response操作，response在这个例子里面是保存页面的操作。

Scrapy官方文档笔记

猜你喜欢