Scrapy: raspa el contenido del sitio web que devuelve el formato de datos como JSON

Los datos de algunos sitios web se obtienen a través de solicitudes ajax, o se proporcionan apis en formato json.

Por ejemplo, para los siguientes datos:

{
        {
            "url": "http://www.techbrood.com/news/1",
            "author": "iefreer",
            "title": "techbrood Co. test 1"
        },
        {
            "url": "http://www.techbrood.com/news/2",
            "author": "ryan.chen",
            "title": "techbrood Co. test 2"
        }
}

En Scrapy, simplemente cambie la función de análisis:

def parse(self, response):
        #调用body_as_unicode()是为了能处理unicode编码的数据。
        sites = json.loads(response.body_as_unicode())
        for site in sites:
        	print site['url']

Llame a body_as_unicode () para poder procesar datos codificados en Unicode.