文章包含以下内容:
1.MongoDB的下载,安装和命令行的使用
2.Studio 3T(又名 RoboMongo)的下载和安装
3.adminMongo的下载和安装
将在下一篇文章中介绍模块pymongo的第三方库如何配合Studio 3T或adminMongo完成爬虫数据的数据库创建和整理
前言
以[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息爬取到的数据为例,数据格式如图:
保存时,直接将数据写入到csv文件中.虽然方便存储和利用Excel进行一定的数据分析,但是对于更加系统,复杂的查询和分析,或者是数据量越来越大时,我们还是建议将数据放到数据库比较合适.一般可以选择关系型数据库例如My SQL,Oracle SQL等.也可以选择非关系型数据库(NoSQL):键值存储数据库如Redis,列存储数据库如Hbase,图形数据库如Graph还有文档型数据库如MongoDB.
这里我们使用MongoDB储存管理我们的爬取的图书数据.
MongoDB的下载和安装
参考菜鸟教程的这篇下载安装即可 Windows 平台安装 MongoDB
这里我下载的是mongodb-win32-x86_64-2008plus-ssl-4.0.4.zip的解压版,非msi的安装版
在c盘建立以下文件夹
打开cmd,输入命令 cd E:\Program Files\mongodb\bin进入mongodb目录
然后输入命令 mongod --dbpath c:\data\db
如果出现这个错误代表着c:\data\db这个目录还没有建立
成功的话,会有一堆消息
这时候再打开一个cmd,输入命令cd /d E:\Program Files\mongodb\bin,回车,再输入mongo,就能进入mongo了,如图:
然后打开cmd在管理员模式下安装MongoDB服务
2.创建配置文件,在安装/解压目录E:\Program Files\mongodb中新建文本文件mongod.cfg,输入以下内容:
systemLog:
destination: file
path: c:\data\log\mongod.log
storage:
dbPath: c:\data\db
3.安装 MongoDB服务
输入命令mongod --config "E:\Program Files\mongodb\mongod.cfg" --install
启动MongoDB服务
net start MongoDB
关闭MongoDB服务
net stop MongoDB
进入mongo后,就能使用了,输入db查看当前的数据库,然后做一个插入和查看操作
MongoDB可视化管理工具
经常敲指令和命令行操作有时挺累的,所以我们需要一个可视化管理工具—这里介绍两个软件:
Studio 3T(又名Robomongo)----使用程序管理
adminMongo----使用网页管理
Robomongo的安装和使用
点击 https://robomongo.org/ ,选择左边的Download Studio 3T按系统版本下载即可
安装完开始运行一下:
点击New Connection,输入连接名字,然后按save保存
最后按connect即可.
连接后可以看到数据库test以及刚刚插入的值x
adminMongo
这里参考了博客 https://www.cnblogs.com/shiweida/p/7692468.html,
下载地址:https://github.com/mrvautin/adminMongo
除了直接下载,还能用git仓库克隆到本地,
git下载地址 https://git-scm.com/download/win
npm下载地址 https://www.npmjs.com/get-npm
安装后打开git-bash,输入命令git clone https://github.com/mrvautin/adminMongo
克隆仓库到桌面,将桌面上的adminMongo文件夹移动到安装目录,在安装目录下重新打开git-bash,运行命令npm install和npm start
在浏览器中打开http://127.0.0.1:1234/
选择输入连接名例如Localhost,连接例如mongodb://127.0.0.1:27017,点击Add Connection就能愉快地使用了
