NoSql MongoDB

NoSql简介

NoSQL(Not Only SQL )，意即“不仅仅是SQL” ,指的是非关系型的数据库 。是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。 关系型数据库中的表都是存储一些结构化的数据，每条记录的字段的组成都一样，即使不是每条记录都需要所有的字段，但数据库会为每条数据分配所有的字段。而非关系型数据库以键值对(key-value)存储，它的结构不固定，每一条记录可以有不一样的键，每条记录可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。

常见的NoSql(非关系型数据库)数据库

键值(Key-Value)存储数据库 
* Riak：一个开源、分布式键值数据库，支持数据复制和容错 
* Redis：一个开源的键值存储数据库，支持主从式复制、事务，Pub/Sub、Lua脚本，还支持给Key添加时限 
* Dynamo：一个键值分布式存储数据库，直接由亚马逊Dynamo数据库实现 
* Oracle NoSQL Database：来自Oracle的键值NoSQL数据库，支持事务ACID和JSON 
* Oracle NoSQL Database：具备数据备份和分布式键值存储系统 
* Voldemort：具备数据备份和分布式键值存储系统 
* Aerospike：一个键值存储数据库，支持混合内存架构，通过强一致性和可调一致性保证数据的完整性

列存储数据库 
* Cassandra：支持跨数据中心的数据复制，提供列索引 
* HBase：一个开源、分布式、面向列存储的模型 
* Amazon SimpleDB：一个非关系型数据存储 
* Apache Accumulo：有序的、分布式键值数据存储，基于Google的BigTable设计 
* Hypertable：一个开源、可扩展的数据库，模仿Bigtable，支持分片 
* Azure Tables：为要求大量非结构化数据存储的应用提供NoSQL性能

文档型数据库 
* MongoDB：开源、面向文档 
* CounchDB：一个使用JSON的文档数据库，使用Javascript做MapReduce查询，也是一个使用HTTP的API 
* Couchbase：基于JSON模型 
* RavenDB：一个基于.net语言的面向文档数据库 
* MarkLogic：用来存储基于XML和以文档为中心的信息，支持灵活的模式

图形(Graph)数据库 
* Neo4j：一个图数据库，支持ACID事务 
* InfiniteGraph：用来维持和遍历对象间的关系，支持分布式数据存储 
* AllegroGraph：结合使用了内存和磁盘，提供了高可扩展性，支持SPARQ、RDFS++和Prolog推理

扫描二维码关注公众号，回复： 1906531 查看本文章

NoSql数据库优缺点

　　在优势方面主要体现在下面几点：

　　　　　　　　 简单的扩展

　　　　　　　　快速的读写

　　　　　　　　低廉的成本

　　　　　　　　灵活的数据模型

　　在不足方面主要有下面几点：

　　　　　　不提供对SQL的支持 　　

　　　　　　支持的特性不够丰富

　　　　　　 现有的产品不够成熟

MongoDB简介

　　MongoDB是用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用，存储数据十分方便，主要特性有： 
　　面向集合存储，易于存储对象类型的数据 
　　模式自由 
　　支持动态查询 
　　支持完全索引，包含内部对象 
　　支持复制和故障恢复 
　　使用高效的二进制数据存储，包括大型对象 
　　文件存储格式为BSON(一种JSON的扩展)

MongoDB和关系数据库的对比

对比项	mongoDB	mysql oracle
表	集合	二维表table
表的一行数据	文档document	一条记录recoder
表字段	键key	字段filed
字段值	值value	值value
主外键	无	PK FK
灵活度扩展性	极高	差

MongoDB基本概念

• 文档(document)是MongoDB中数据的基本单元，非常类似于关系型数据库系统中的行(但是比行要复杂的多)。
• 集合(collection)就是一组文档，如果说MongoDB中的文档类似于关系型数据库中的行，那么集合就如同表。
• MongoDB的单个计算机可以容纳多个独立的数据库，每一个数据库都有自己的集合和权限。
• MongoDB自带简洁但功能强大的JavaScript shell，这个工具对于管理MongoDB实例和操作数据作用非常大。
• 每一个文档都有一个特殊的键”_id”,它在文档所处的集合中是唯一的，相当于关系数据库中的表的主键。

MongoDB数据类型

数据类型	描述	举例
null	表示空值或者未定义的对象	{“x”:null}
布尔值	真或者假：true或者false	{“x”:true}
32位整数	32位整数。shell是不支持该类型的，shell中默认会转换成64位浮点数
64位整数	64位整数。shell是不支持该类型的，shell中默认会转换成64位浮点数
64位浮点数	64位浮点数。shell中的数字就是这一种类型	{“x”：3.14，”y”：3}
字符串	UTF-8字符串	{“foo”:”bar”}
符号	shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串
对象id	文档的12字节的唯一id	{“id”: ObjectId()}
日期	从标准纪元开始的毫秒数	{“date”:new Date()}
正则表达式	文档中可以包含正则表达式，遵循JavaScript的语法	{“foo”:/foobar/i}
代码	文档中可以包含JavaScript代码	{“x”：function() {}}
未定义	undefined	{“x”：undefined}
数组	值的集合或者列表	{“arr”: [“a”,”b”]}
内嵌文档	文档可以作为文档中某个key的value	{“x”:{“foo”:”bar”}}

MongoDB使用

MongoDB的安装非常简单，只需要将下载的MongoDB的压缩文件解压到任意目录，并将其中的bin目录加入到系统的path环境变量中即可

在启动MongoDB之前，要手动创建一个存放MongoDB数据文件的目录，如D:\mongo_data 在命令行执行 mongod --dbpath=D:\mongo_data

在命令行中可以使用mongo命令连接到MongoDB服务器，如下，输入mongo命令默认连接到本地的名称为test的数据库，如果希望连接到远程数据库，可以使用mongo ip:port

创建数据库,使用命令 use 数据库名称 ,如： use mydb1

删除当前数据库，使用命令 db.dropDatabase()

MongoDB常用操作

查看所有数据库，使用命令 show dbs

查看当前所在数据库，使用命令 db

 查看当前数据库中所有的集合，使用命令 show collections 或使用show tables

创建集合有两种方式，显示创建和隐式创建

　　显示创建可以使用命令 db.createCollection(“集合名称")

　　隐式创建可以使用命令 db.集合名称.insert({}),指创建集合并同时向集合中插入数据,例如：db.customer.insert({name:”jack”})　　

　　向集合添加文档，使用命令 db.集合名称.insert({})，例如： db.user1.insert({name:”jack”,age:20})

　　删除集合中的文档，使用命令 db.集合名称.remove({删除条件})，不加删除条件为删除集合中的所有文档，例如，db.c1.remove() 为删除c1集合中的所有文档，db.c1.remove({name:”user1”})为删除c1集合中name为user1的文档　　

　　查询集合中的文档，可以使用命令 db.集合名称.find({条件})，或者使用 db.集合名称.findOne() 查询第一个文档　

　　查询集合中的文档 ，使用条件表达式(<, <=, >, >=,!=)　　　

　　　　//大于： field > value 　　db.collection.find({field:{$gt:value}});

　　　　//小于： field < value 　　db.collection.find({field:{$lt:value}});

　　　　//大于等于： field >= value 　　db.collection.find({field:{$gte:value}});

　　　　//小于等于： field <= value　　 db.collection.find({field:{$lte:value}});

　　　　 //不等于： field != value 　　db.collection.find({field:{$ne:value}});

　　查询集合中的文档 ，统计(count)、排序(sort)、分页(skip、limit)

　　　　db.customer.count();

　　　　db.customer.find().count();

　　　　db.customer.find({age:{$lt:5}}).count();

　　　　db.customer.find().sort({age:1});降序-1

　　　　db.customer.find().skip(2).limit(3);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count();

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count(0);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count(1);

　　查询集合中的文档 ,$all主要用来查询数组中的包含关系，查询条件中只要有一个不包含就不返回

　　　　db.customer.find({post:{$all:[1,2]}})

　　查询集合中的文档 ,$in，类似于关系型数据库中的IN

　　　　db.customer.find({age:{$in:[1,2]}})

　　查询集合中的文档 ,$nin，与$in相反

　　查询集合中的文档 ,$or，相当于关系型数据库中的OR，表示或者的关系，例如查询name为user2或者age为3的文档，命令为： db.customer.find({$or:[{name:”user2”},{age:3}]})

　　查询集合中的文档 ,$exists，用于查询集合中存在某个键的文档或不存在某个键的文档，例如查询customer集合中存在name键的所有文档，可以使用 db.customer.find({name:{$exists:1}})，

　　　　$exists:1表示真，指存在 $exists:0表示假，指不存在

　　更新集合中的文档，语法如下：

　　　　db.collection.update(criteria,objNew,upsert,multi) 参数说明：

　　　　　　criteria:用于设置查询条件的对象

　　　　　　objNew:用于设置更新内容的对象

　　　　　　upsert:如果记录已经存在，更新它，否则新增一个记录，取值为0或1

　　　　　　multi：如果有多个符合条件的记录，是否全部更新，取值为0或1 注意：默认情况下，只会更新第一个符合条件的记录 一般情况下后两个参数分别为0,1 ，即： 　　　　　　　　　　　　   　　　　　　db.collection.update(criteria,objNew,0,1)　　

　　更新集合中的文档,将集合中name为user1的文档改成name为jack

　　　　db.collection.update({name:"user1"},{name:"jack"})

　　更新集合中的文档, $set 用来指定一个键的值，如果这个键不存在，则创建它。例如： 给name为user1的文档添加address，可以使用命令：

　　　　db.c1.update({name:”user1”},{$set:{address:”bj”}},0,1) 将name为user1的文档修改address为tj，其它键值对不变,命令为：

　　　　db.c1.update({name:”user1”},{$set:{address:”tj”}},0,1)

　　更新集合中的文档,使用 $inc 将集合中name为user1的age加1，其它键不变, $inc表示使某个键值加减指定的数值

　　　　db.c1.update({name:”user1”},{$inc:{age:1}})

　　更新集合中的文档, $unset 用来删除某个键，例如删除name为user1的文档中的address键，可以使用命令：

　　　　db.c1.update({name:”user1”},{$unset:{address:1}},0,1)

索引　

　　创建普通索引，使用命令 db.collection.ensureIndex({key:1}) 　　

　　创建唯一索引，使用命令 db.collection.ensureIndex({key:1}，{unique:true})

　　查看关于索引的相关信息，使用命令 db.collection.stats()

　　 查看查询使用索引的情况，使用命令 db.collection.find({key:value}).explain()

　　删除索引，使用命令 db.collection.dropIndex({key:1})

　　删除集合，也会将集合中的索引全部删除

固定集合(capped collection)　

　　固定集合指的是事先创建而且大小固定的集合 。

　　固定集合特性：固定集合很像环形队列，如果空间不足，最早的文档就会被删除，为新的文档腾出空间。一般来说，固定集合适用于任何想要自动淘汰过期属性的场景，没有太多的操作限制。

　　创建固定集合使用命令：db.createCollection(“collectionName”,{capped:true,size:100000,max:100});

　　size指定集合大小，单位为KB，max指定文档的数量 当指定文档数量上限时，必须同时指定大小。淘汰机制只有在容量还没有满时才会依据文档数量来工作。要是容量满了，淘汰机制会依据容量来工作。备份(mongodump)和恢复(mongorestore)

　　MongoDB提供了备份和恢复的功能，分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件

　　备份数据使用下面的命令：

　　　　>mongodump -h dbhost -d dbname -o dbdirectory

　　　　-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017

　　　　-d：需要备份的数据库实例，例如：test

　　　　-o：备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。

　　恢复数据使用下面的命令：

　　　　>mongorestore -h dbhost -d dbname -directoryperdb dbdirectory

　　　　　　-h：MongoDB所在服务器地址

　　　　　　-d：需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2

　　　　　　-directoryperdb：备份数据所在位置，例如：c:\data\dump\test

导入(mongoimport)和导出(mongoexport)

　　导出数据可以使用命令：

　　　　mongoexport -h dbhost -d dbname -c collectionName -o output

　　　　　　参数说明:

　　　　　　　　-h 数据库地址 　　

　　　　　　　　-d 指明使用的库

　　　　　　　　-c 指明要导出的集合

　　　　　　　　-o 指明要导出的文件名

　　导入数据可以使用命令：

　　　　mongoimport -h dbhost -d dbname -c collectionname 文件的地址...

　　　　　参数说明:

　　　　　　-h 数据库地址

　　　　　　-d 指明使用的库 　　

　　　　　　-c 指明要导入的集合

　　　　　　本地的文件地址...

安全和认证

　　　　每个MongoDB实例中的数据库都可以有许多用户。如果开启了安全性检查，则只有数据库认证用户才能执行读或者写操作。在认证的上下文中，MongoDB会将普通的数据作为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。 在认证之后，管理员可以读写所有数据库，执行特定的管理命令，如listDatabases和shutdown。 在开启安全检查之前，一定要至少有一个管理员账号。

　　在admin数据库中创建管理员账号：

　　　　use admin; db.addUser(“root”,”root”);

　　在test数据库中创建普通账号：

　　　　 use test; db.addUser(“zhangsan”,”123”); db.addUser(“lisi”,”123”,true);

　　　　　　注意：用户zhangsan，密码为123，对test数据库拥有读写权限 用户lisi，密码为123，对test数据库拥有只读权限

　　重新启动数据库服务，并开启安全检查： mongod --dbpath d:\mongo_data --auth

分片(sharding)分布式存储..

　　　　分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

　　　　MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面，每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据，甚至不需要知道数据已经被拆分了，所以在分片之前要运行一个路由进程，该进程名为mongos。这个路由器知道所有数据的存放位置，所以应用可以连接它来正常发送请求。对应用来说，它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系，能够转发请求到正确的片上。如果请求有了回应，路由器将其收集起来回送给应用。

　　　　设置分片时，需要从集合里面选一个键，用该键的值作为数据拆分的依据。这个键称为片键(shard key)。 {name:"zhangsan",age:1}

　　　　用个例子来说明这个过程：假设有个文档集合表示的是人员。如果选择名字("name")作为片键，第一片可能会存放名字以A~F开头的文档，第二片存的G~P的名字，第三片存的Q~Z的名字。随着添加或者删除片，MongoDB会重新平衡数据，使每片的流量都比较均衡，数据量也在合理范围内。

　　　　　　　　　　　　　　　　　　　　　　

　　　　1、创建三个目录，分别存放两个mongod服务的数据文件和config服务的数据文件

　　　　2、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面，所以首先开启它，这里就使用2222端口。 命令为：

　　　　　　 mongod --dbpath E:\sharding\config_node --port 2222

　　　　3、开启mongos服务器 。这里要注意的是我们开启的是mongos，端口3333，同时指定下config服务器。命令为：

　　　　　　mongos --port 3333 --configdb=127.0.0.1:2222

　　　　4、启动mongod服务器 。对分片来说，也就是要添加片了，这里开启两个mongod服务，端口分别为：4444，5555。命令为：

　　　　　　mongod --dbpath E:\sharding\mongod_node1 --port 4444 mongod --dbpath E:\sharding\mongod_node2 --port 5555

　　　　5、服务配置 。client直接跟mongos打交道，也就说明我们要连接mongos服务器，然后将4444，5555的mongod交给mongos,添加分片也就是addshard()。

　　　　6、开启数据库分片功能，命令很简单 enablesharding(),这里就开启test数据库。

　　　　7、指定集合中分片的片键，这里就指定为person.name键。

　　　　8、通过mongos插入10w记录，然后通过printShardingStatus命令查看mongodb的数据分片情况。

使用java操作MongoDB

　　　　下载mongoDB对Java支持的驱动包 驱动包下载地址：https://github.com/mongodb/mongo-java-driver/downloads

　　　　1、查询集合中所有文档

　　　　　　　

　　　　2、删除集合中的文档

　　　　　　 

　　　　3、向集合中插入文档

　　　　　　

　　　　4、更新集合中的文档