Scrapy爬取伯乐在线采用两种入库方法

scrapy基本命令

1.建立scrapy项目

scrapy startproject mybole

2.进入项目列表并在项目目录下创建爬虫文件,此处必须加上你要爬取的链接否则会报错

cd mybole
scrapy genspider jobbole jobbole.com

3.在你创建的scrapy列表中找到spiders就是你创建的爬虫文件夹jobbole.py

4.初始化的爬虫代码scrapy已帮你建立

5.现在开始进行爬取网页文章内容的提取采用xpath方法进行爬取，爬去的xpath代码可在Chrome应用商城下载xpathhelper,也可以在命令行模式下输入如下代码就可以进入shell界面

scrapy shell “此处填写具体网址”

6.完整的jobbole.py代码如下:

# -*- coding: utf-8 -*-
import scrapy
import  re
from mybole.items import  MyboleItem
from scrapy.http import  Request#回掉函数
from  urllib import  parse#域名拼接
class MyjobboleSpider(scrapy.Spider):
    name = 'myjobbole'
    allowed_domains = ['blog.jobbole.com']
    start_urls = ['http://blog.jobbole.com/all-posts/']

    def parse(self, response):
        # archive > div:nth-child(1) > div.post-thumb > a
        post_nodes=response.css("#archive .floated-thumb .post-thumb a")
        #post_urls=response.css('//div[@id="archive"]/div[@class="post floated-thumb"]/div[@class="post-thumb"]/a/@href').extract()

        for post_node in post_nodes:
            image_url=post_node.css("img::attr(src)").extract_first('')
            post_url=post_node.css("::attr(href)").extract_first('')
            #meta是个字典，意思是每次运行代码吧图片url提取
            yield  Request(url=parse.urljoin(response.url,post_url),meta={"front_image_url":image_url},  callback=self.parse_detial)#运行url对具体文章提取内容循环多次
        #在response.css(".next.page-numbers::attr(href)")中两个class之间加了空格代表父子，不加空格代表是同一个class
        next_urls=response.css(".next.page-numbers::attr(href)").extract_first('')
        if next_urls:
            #scrapy  根据函数名调用函数进行每页的爬取回到这个def parse(self, response):
            yield  Request(url=parse.urljoin(response.url,next_urls),callback=self.parse)#运行url对具体文章提取内容循环多次

细节性知识点：

#strip()去掉提取内容中的回车换行符即“\r\n”,replace(".","")替换.为空
create_date=response.xpath("//p[@class=‘entry-meta-hide-on-mobile’]/text()").extract()[0].strip().replace("·", “”)

tag_list = [tag for tag in tag_list if not tag.strip().endswith(‘评论’)]#过滤掉“评论”
tags = ‘,’.join(tag_list)

join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串
语法： ‘sep’.join(seq)
参数说明
sep：分隔符。可以为空
seq：要连接的元素序列、字符串、元组、字典
上面的语法即：以sep作为分隔符，将seq所有的元素合并成一个新的字符串
返回值：返回一个以分隔符sep连接各个元素后生成的字符串
7.items.py代码如下：

import scrapy


class MyboleItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title=scrapy.Field()
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id = scrapy.Field()  # 文章 URL 的 MD5 值
    front_image_url = scrapy.Field()
    front_image_path = scrapy.Field()
    praisenums = scrapy.Field()
    favnums = scrapy.Field()
    commentnums = scrapy.Field()
    content= scrapy.Field()
    tags= scrapy.Field()

items.py相当于python基础知识中的字典，但是在爬去信息的时候对数据操作比较多于是便有了item方便进行数据的操作。

8.piplines.py管道文件代码：
看不懂的代码请看注释

import  json
import pymysql
#from  twisted.enterprise import adbapi
from twisted.enterprise import  adbapi
from scrapy.pipelines.images import ImagesPipeline

class MybolePipeline(object):
    def process_item(self, item, spider):
        return item
 #此处利用scrapy自带scrapy.pipelines.images爬取图片并将图片路径 保存
class MyboleImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        for ok, v in results:
            image_file_path = v['path']
            item['front_image_path'] = image_file_path
        return item




#json文件存储
class JsonWithEncodingPipeline(object):
    def __init__(self):
        self.file = open('article.json', 'a', encoding='utf-8')
    #此处打开文件的方式“a”与“w”一样但是必须要添加encoding='utf-8'将爬取的xpath代码转换问utf-8类型

    def process_item(self, item, spider):
    #先将item对象转化为字典对象才能进行json文件存储， ensure_ascii=False代表不用ascii存储也就是		         #用中文就好了 
        self.file.write(json.dumps(dict(item), ensure_ascii=False) + ',\n')
        return item    

    def close_spider(self):
        self.file.close()






 #一般数据库存储
 #此处代码最容易报错请确保数据库表 中开头么有空格其他注意细节
class MySQLPipeline(object):
    def __init__(self):
        self.conn = pymysql.connect(host="127.0.0.1",user="root",password="root",db="Articles", charset='utf8')
        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):
        insert_sql = '''
                    insert into jobbole_article(title,create_date,url,url_object_id,front_img_url,
                                                front_img_path,praise_nums,comment_nums,fav_nums,tags,content)
                    values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
                '''
        self.cursor.execute(insert_sql, (
            item['title'], item['create_date'], item['url'], item['url_object_id'],
            item['front_img_url'], item['front_img_path'], item['praise_nums'],
            item['comment_nums'], item['fav_nums'], item['tags'], item['content']
        ))
        self.conn.commit()


    def close_spider(self,spider): #TypeError: close_spider() takes 1 positional argument but 2 were given


        self.cursor.close()
        self.conn.close()




#异步存入数据库目的就是爬虫速度太快数据存入数据库代码，此处异步存储加快速度分布存入，防止数
#据太多数据库堵着
class MysqlTwistedPipline(object):
    #builtins.TypeError: __init__() missing 1 required positional argument: 'db_pool'
    #出现如上错误在from_settinngs 前添加@classmethod
    def __init__(self,dbpool):
        self.dbpool=dbpool
    #从settings获得 数据库配置信息
    @classmethod
    #@classmethod优先级高于__init__使dbpool输出便于初始化
    def from_settings(cls,settings):
        # 用一个db_params接收连接数据库的参数
        dbparms=dict(host=settings["MYSQL_HOST"],db=settings["MYSQL_DBNAME"],
                     user=settings["MYSQL_USER"],password=settings["MYSQL_PASSWORD"],
                     charset="utf8",
                    #设置游标类型
                     cursorclass=pymysql.cursors.DictCursor,
                     use_unicode=True,
                     )
        # 创建连接池
        dbpool=adbapi.ConnectionPool('pymysql',**dbparms)
        # 返回一个pipeline对象
        return cls(dbpool)


    def process_item(self,item,spider):
        #把要执行的sql语句放入连接池
        # 使用Twisted将mysql插入变成异步执行
        # runInteraction可以将传入的函数变成异步的
        query=self.dbpool.runInteraction(self.insert_into,item)
        query.addErrback(self.handle_error,item,spider)
        # 如果sql执行发送错误,自动回调addErrBack()函数
        return item
    def insert_into(self,cursor,item):
        # 会从dbpool取出cursor
        # 执行具体的插入
        insert_sql = '''
                            insert into jobbole_article(title,create_date,url,url_object_id,front_img_url,
                                                        front_img_path,praise_nums,comment_nums,fav_nums,tags,content)
                            values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)
                        '''
        cursor.execute(insert_sql, (
            item['title'], item['create_date'], item['url'], item['url_object_id'],
            item['front_img_url'], item['front_img_path'], item['praise_nums'],
            item['comment_nums'], item['fav_nums'], item['tags'], item['content']
        ))
        # 拿传进的cursor进行执行，并且自动完成commit操作

    def handle_error(self, failure, item, spider):
        # 处理异步插入的异常
        print(failure)

9.setting文件是对整个爬虫运行哪块不运行哪块的整体控制：
(1)简单来说就是不遵守robots.txt规定，不写着这句话代表你什么都获取不了

Obey robots.txt rules

ROBOTSTXT_OBEY = False

（2）管道文件控制器，数字越小 代表运行优先级越大，简单来说就是谁小先运行谁

ITEM_PIPELINES = {
   #'mybole.pipelines.MybolePipeline': 300,
#'scrapy.pipelines.images.ImagesPipeline':1,

#"mybole.pipelines.JsonWithEncodingPipeline":300,
    #'mybole.pipelines.MyboleImagePipeline':200,
'scrapy.pipelines.images.ImagesPipeline':1
}

import  os
project_dir=os.path.dirname(os.path.abspath(__file__))#获得当前目录的名称向前取获得目录名
IMAGE_URLS_FIELD='front_image_url'#获取url
#请睁开眼你没有加S导致程序错误
# IMAGES_URLS_FIELD = 'front_image_url'
IMAGE_STORE=os.path.join(project_dir,'images')#设置图片路径

（3）获取图片利用的是自带的图片管道进行爬取，需要与管道相联合
（4）在setting 中添加数据库信息你怎样建立数据库内容随你改变

MYSQL_HOST='localhost'
MYSQL_DBNAME="Articles"
MYSQL_USER="root"
MYSQL_PASSWORD="root"

10.setting.py整体起作用代码在这如需修改请自行修改:

#当我们的item被传输到pipeline我们可以将其进行存储到数据库等工作
ITEM_PIPELINES = {

   #'bole.pipelines.BolePipeline': 300,
   #'bole.pipelines.JsonWithEncodingPipeline': 2,
  # 'bole.pipelines.JsonWithEncodingPipeline': 200,
  #  "bole.pipelines.MysqlTwistedPipline":200,
  #  "bole.pipelines.BoleImagePipeline":100,
   'scrapy.pipelines.images.ImagesPipeline':1
}
MYSQL_HOST='localhost'
MYSQL_DBNAME="Articles"
MYSQL_USER="root"
MYSQL_PASSWORD="root"
import os
# 获取项目目录
project_dir = os.path.dirname(os.path.abspath(__file__))
# 指定需要下载的图片字段，这个字段必须是可迭代对象，这里 front_img_url 就是图片字段名
IMAGES_URLS_FIELD = 'front_img_url'
# 指定图片存储路径，这里将项目目录与 images 目录进行拼接，作为图片存储路径
IMAGES_STORE = os.path.join(project_dir, 'images')
MYSQL_HOST='localhost'
MYSQL_DBNAME="Articles"
MYSQL_USER="root"
MYSQL_PASSWORD="root"