#安装mongodb 《window下》
——(1)https://www.mongodb.com/download-center/community 在该网址安装,
————(2)
——(3)
————(4)关键的一步,小心等的花都谢了!!!!!!!!!!!!!
##安装完成后的操作
由于MongoDB将数据目录存储在 db 目录下。但是这个数据目录不会主动创建,我们在安装完成后需要创建它。请注意,数据目录应该放在根目录下((如: C:\ 或者 D:\ 等 )。
在本教程中,我们已经在 C 盘安装了 mongodb,现在让我们创建一个 data 的目录然后在 data 目录里创建 db 目录。
——1:(1)C: (进入c盘)(2)mkdir data (3)cd data (4)mkdir db 然后就创建 完成了
——2:(1)需要你在命令行下cd 进入mongodb 的 bin 文件下 然后执行(C:\mongodb\bin\你已经进入该bin文件的话就直接执行)mongod --dbpath c:\data\db (2)执行完第一步后,就再执行 mongo.exe
——-3:(1)以管理员的模式打开命令行。《切记前面的命令行别关闭》,输入net start MongoDB 就开启了,net stop MongoDB就关闭了。
##安装mongodb的一个可视化工具 网址如下https://robomongo.org/,安装容易下面开始使用
###mongodb工具的超级基础使用,
——(1)进入该工具后看左上方有个按钮是两个小电脑,点击他,有个弹窗,点击弹窗上面的create,又有一个小弹窗,把里面的name( 自己取也可以 )然后save (保存就可以了),最后 以刚才的的相同的方式点击两台小电脑,这时候你就可以在弹窗里面看到自己刚创建的数据库,点击connect链接起来就大功告成了。
##配置scrapy文件 ,来链接数据库。————目的是把 scrapy 爬出来的内容保存在数据库里
——在setting中Mongoip=‘192.xxx.xx.xx’ #mongoDB节点 ip地址 可以写127.0.0.1,或者cmdifconfig查自己的ip 前提是可视化工具(robo 3t 客户端)能打开你可视化能打开本地的mongodb
MongoPort = 27017 #端口号 一般都是 27017
MongoDBname=‘mylove1’ #文档名
MongoItem=‘DouluodaluItem’ #item名
————(2)
piplines中
from pymongo import MongoClient # 使用MongoClient连接mongo
from douluodalu.settings import Mongoip,MongoDBname,MongoPort,MongoItem #从settings.py导入第一步配置的连接信息
class CrawldataToMongoPipline(object):
def __init__(self):
host = Mongoip #主机
port = MongoPort #端口
dbName=MongoDBname #文档名
client = MongoClient(host=host,port=port) # 创建连接对象client
db = client[dbName] # 使用文档dbName='mylove1'
self.post = db[MongoItem] # 使用item MongoItem='DouluodaluItem'
def process_item(self, item, spider):
job_info = dict(item) # item转换为字典格式
self.post.insert(job_info) # 将item写入mongo
return item
————(3)最后别忘了,在setting中打开管道打开'douluodalu.pipelines.CrawldataToMongoPipline': 300,