Mongdb的安装和scrapy链接Mongodb的基本操作

#安装mongodb 《window下》
——(1)https://www.mongodb.com/download-center/community 在该网址安装,在这里插入图片描述
————(2)在这里插入图片描述
——(3)在这里插入图片描述
————(4)关键的一步,小心等的花都谢了!!!!!!!!!!!!!在这里插入图片描述

##安装完成后的操作
由于MongoDB将数据目录存储在 db 目录下。但是这个数据目录不会主动创建,我们在安装完成后需要创建它。请注意,数据目录应该放在根目录下((如: C:\ 或者 D:\ 等 )。

在本教程中,我们已经在 C 盘安装了 mongodb,现在让我们创建一个 data 的目录然后在 data 目录里创建 db 目录。
——1:(1)C: (进入c盘)(2)mkdir data (3)cd data (4)mkdir db 然后就创建 完成了
——2:(1)需要你在命令行下cd 进入mongodb 的 bin 文件下 然后执行(C:\mongodb\bin\你已经进入该bin文件的话就直接执行)mongod --dbpath c:\data\db (2)执行完第一步后,就再执行 mongo.exe
——-3:(1)以管理员的模式打开命令行。《切记前面的命令行别关闭》,输入net start MongoDB 就开启了,net stop MongoDB就关闭了。
##安装mongodb的一个可视化工具 网址如下https://robomongo.org/,安装容易下面开始使用
###mongodb工具的超级基础使用,
——(1)进入该工具后看左上方有个按钮是两个小电脑,点击他,有个弹窗,点击弹窗上面的create,又有一个小弹窗,把里面的name( 自己取也可以 )然后save (保存就可以了),最后 以刚才的的相同的方式点击两台小电脑,这时候你就可以在弹窗里面看到自己刚创建的数据库,点击connect链接起来就大功告成了。
##配置scrapy文件 ,来链接数据库。————目的是把 scrapy 爬出来的内容保存在数据库里
——在setting中Mongoip=‘192.xxx.xx.xx’ #mongoDB节点 ip地址 可以写127.0.0.1,或者cmdifconfig查自己的ip 前提是可视化工具(robo 3t 客户端)能打开你可视化能打开本地的mongodb
MongoPort = 27017 #端口号 一般都是 27017
MongoDBname=‘mylove1’ #文档名
MongoItem=‘DouluodaluItem’ #item名

————(2)
piplines中

from pymongo import MongoClient  # 使用MongoClient连接mongo
from douluodalu.settings import Mongoip,MongoDBname,MongoPort,MongoItem   #从settings.py导入第一步配置的连接信息
class CrawldataToMongoPipline(object):
    def __init__(self):
        host = Mongoip      #主机
        port = MongoPort    #端口
        dbName=MongoDBname  #文档名
        client = MongoClient(host=host,port=port)    # 创建连接对象client
        db = client[dbName]                          # 使用文档dbName='mylove1'
        self.post = db[MongoItem]                  # 使用item MongoItem='DouluodaluItem'

    def process_item(self, item, spider):
        job_info = dict(item)                      # item转换为字典格式
        self.post.insert(job_info)                 # 将item写入mongo
        return item

————(3)最后别忘了,在setting中打开管道打开'douluodalu.pipelines.CrawldataToMongoPipline': 300,

发布了4 篇原创文章 · 获赞 2 · 访问量 765

猜你喜欢

转载自blog.csdn.net/MYLOVEis77/article/details/104117633