scrapy框架连接MongoDB数据库

版权声明：本文为博主原创文章，未经博主允许不得转载 https://blog.csdn.net/g_optimistic/article/details/90202071

目录

1.下载pymongo模块

2.编码实现数据库简单操作

（1）链接数据库

（2）创建数据库

（3）创建表

（4）插入数据

3.打开Robo 3T ,查看数据

---

1.下载pymongo模块

pip install pymongo

2.编码实现数据库简单操作

scrapy框架与数据库链接，主要是为了把爬取到的数据保存到数据库里面，所以我们把这个操作的相关代码写到scrapy项目的pipeline文件中

（1）链接数据库

（2）创建数据库

（3）创建表

（4）插入数据

import pymongo
class YaoPipeline(object):
    def __init__(self):
        #链接数据库
        self.client=pymongo.MongoClient('localhost')
        #创建库
        self.db=self.client['yaoyao']
        self.table=self.db['xiaobin']
    def process_item(self,item,spider):
        #插入值
        self.table.insert(dict(item))
        return item

执行scrapy项目：

scrapy crawl s_111

3.打开Robo 3T ,查看数据

创建链接

File--->Connect--->Creat--->save

查看数据库，表，记录：