Python scrapy框架教学（四）：保存到数据库

保存到Redis数据库

保存到数据库和保存到文件中格式类似的，只不过初始化的时候，将本来是打开文件的操作，转为连接数据库的操作。写入的时候将本来是写入到文件的操作转为写入到数据库中的操作。以 Redis 数据库为例：

# 这个是保存到redis 
class RedisPipeline(object): 
  def __init__(self): 
    ## 初始化链接
    reids self.redis_cli = redis.StrictRedis( 
    host='127.0.0.1', 
    port=6379, db=1, 
  ) 

  def process_item(self, item, spider): 
    ## 保存到redis 
    self.redis_cli.lpush('quotes', json.dumps(dict(item))) 
    return item 

  def close_spider(self, spider): 
    self.redis_cli.close()

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542 

Python学习交流群：1039649593

保存到MySQL数据库

# 这个是保存到mysql 
class MySQLPipeline(object):
  """ create database quotes charset=utf8; 
  use quotes; create table quotes (txt text, author char(20), 
  tags char(200)); """ 

  def __init__(self): 
    self.connect = pymysql.connect( 
      host='192.168.159.128', 
      port=3306, 
      db='quotes', # 数据库名 
      user='windows', 
      passwd='123456', 
      charset='utf8', 
      use_unicode=True 
    )
    # 创建操作数据的游标 
    self.cursor = self.connect.cursor() 

  def process_item(self, item, spider): 
    # 保存到mysql 
    # 执行sql语句
    self.cursor.execute( 
      'insert into quotes (txt, author, tags) value(%s, %s, %s)', (item['text'], item['author'], item['tags'])
     )
    # 提交数据执行数据 
    self.connect.commit() 
    return item 
  # 关闭链接 
  def close_spider(self, spider): 
    self.cursor.close() 
    self.connect.close()

将数据存入MongoDB

有时，我们想把爬取到的数据存入某种数据库中，可以实现Item Pipeline完成此类任务。下面实现一个能将数据存入MongoDB数据库的Item Pipeline，代码如下：

对上述代码解释如下。

在类属性中定义两个常量：

• DB_URI 数据库的URI地址。
• DB_NAME 数据库的名字。

from scrapy.item import Item 
import pymongo 

class MongoDBPipeline(object): 

DB_URI = 'mongodb://localhost:27017/' 
DB_NAME = 'scrapy_data' 

def open_spider(self, spider): 
self.client = pymongo.MongoClient(self.DB_URI) 
self.db = self.client[self.DB_NAME] 

def close_spider(self, spider): 
self.client.close() 

def process_item(self, item, spider): 
collection = self.db[spider.name] 
post = dict(item) if isinstance(item, Item) 
else item collection.insert_one(post) 
return item