MongoDB数据库

1.简介

MongoDB 是一个基于分布式文件存储的NoSQL（非关系型）数据库
由C++语言编写，运行稳定，性能高
旨在为 WEB 应用提供可扩展的高性能数据存储解决方案
查看官方网站

2.MongoDB特点

模式自由 :可以把不同结构的文档存储在同一个数据库里
面向集合的存储：适合存储 JSON风格文件的形式
完整的索引支持：对任何属性可索引
复制和高可用性：支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目的是提供冗余及自动故障转移
自动分片：支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器
丰富的查询：支持丰富的查询表达方式，查询指令使用JSON形式的标记，可轻易查询文档中的内嵌的对象及数组
快速就地更新：查询优化器会分析查询表达式，并生成一个高效的查询计划
高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）

3. 名词

SQL术语/概念	MongoDB术语/概念	解释/说明
database	database	数据库
table	collection	数据库表/集合
row	document	数据记录行/文档
column	field	数据字段/域
index	index	索引
table joins		表连接,MongoDB不支持
primary key	primary key	主键,MongoDB自动将_id字段设置为主键

三元素：数据库，集合，文档
- 集合就是关系数据库中的表
- 文档对应着关系数据库中的行
文档，就是一个对象，由键值对构成，是json的扩展Bson形式

{'name':'guojing','gender':'男'}

集合：类似于关系数据库中的表，储存多个文档，结构不固定，如可以存储如下文档在一个集合中

{'name':'guojing','gender':'男'}
{'name':'huangrong','age':18}
{'book':'shuihuzhuan','heros':'108'}

数据库：是一个集合的物理容器，一个数据库中可以包含多个文档
一个服务器通常有多个数据库

数据库操作

1.数据库切换

查看当前数据库名称

db

查看所有数据库名称
列出所有在物理上存在的数据库

        show dbs

切换数据库
如果数据库不存在，则指向数据库，但不创建，直到插入数据或创建集合时数据库才被创建

        use 数据库名称

默认的数据库为test，如果你没有创建新的数据库，集合将存放在test数据库中

2.数据库删除

删除当前指向的数据库
如果数据库不存在，则什么也不做

        db.dropDatabase()

集合创建

1.创建集合

        db.createCollection(name, options)

name是要创建的集合的名称
options是一个文档，用于指定集合的配置
选项参数是可选的，所以只需要到指定的集合名称。以下是可以使用的选项列表：
例1：不限制集合大小

        db.createCollection("stu")

例2：限制集合大小，后面学会插入语句后可以查看效果
参数capped：默认值为false表示不设置上限，值为true表示设置上限
参数size：当capped值为true时，需要指定此参数，表示上限大小，当文档达到上限时，会将之前的数据覆盖，单位为字节

db.createCollection("sub", { capped : true, size : 10 } )

2.查看当前数据库的集合

        show collections

3.删除

        db.集合名称.drop()

数据类型

Object ID：文档ID
String：字符串，最常用，必须是有效的UTF-8
Boolean：存储一个布尔值，true或false
Integer：整数可以是32位或64位，这取决于服务器
Double：存储浮点值
Arrays：数组或列表，多个值存储到一个键
Object：用于嵌入式的文档，即一个值为一个文档
Null：存储Null值
Timestamp：时间戳
Date：存储当前日期或时间的UNIX时间格式

object id

每个文档都有一个属性，为_id，保证每个文档的唯一性
可以自己去设置_id插入文档
如果没有提供，那么MongoDB为每个文档提供了一个独特的_id，类型为objectID
objectID是一个12字节的十六进制数
- 前4个字节为当前时间戳
- 接下来3个字节的机器ID
- 接下来的2个字节中MongoDB的服务进程id
- 最后3个字节是简单的增量值

数据操作

1.插入

        db.集合名称.insert(document)

插入文档时，如果不指定_id参数，MongoDB会为文档分配一个唯一的ObjectId

        db.stu.insert({name:'gj',gender:1})

2.简单查询

        db.集合名称.find()

3.更新

        db.集合名称.update(
           <query>,
           <update>,
           {multi: <boolean>}
        )

参数query:查询条件，类似sql语句update中where部分
参数update:更新操作符，类似sql语句update中set部分
参数multi:可选，默认是false，表示只更新找到的第一条记录，值为true表示把满足条件的文档全部更新
例：全文档更新

        db.stu.update({name:'hr'},{name:'mnc'})

例：修改多条匹配到的数据

        db.stu.update({},{$set:{gender:0}},{multi:true})

4.保存

语法

        db.集合名称.save(document)

如果文档的_id已经存在则修改，如果文档的_id不存在则添加
例

        db.stu.save({_id:'20160102','name':'yk',gender:1})

5.删除

        db.集合名称.remove(
           <query>,
           {
             justOne: <boolean>
           }
        )

参数query:可选，删除的文档的条件
参数justOne:可选，如果设为true或1，则只删除一条，默认false，表示删除多条
例：只删除匹配到的第一条

        db.stu.remove({gender:0},{justOne:true})

例：全部删除

        db.stu.remove({})

6.关于size的示例

创建集合

        db.createCollection('sub',{capped:true,size:10})

插入第一条数据库查询

        db.sub.insert({title:'linux',count:10})
        db.sub.find()

插入第二条数据库查询

        db.sub.insert({title:'web',count:15})
        db.sub.find()

插入第三条数据库查询

        db.sub.insert({title:'sql',count:8})
        db.sub.find()

插入第四条数据库查询

        db.sub.insert({title:'django',count:12})
        db.sub.find()

插入第五条数据库查询

        db.sub.insert({title:'python',count:14})
        db.sub.find()

数据查询

1.基本查询

方法find()：查询

        db.集合名称.find({条件文档})

方法findOne()：查询，只返回第一个

        db.集合名称.findOne({条件文档})

方法pretty()：将结果格式化

        db.集合名称.find({条件文档}).pretty()

2.比较运算符

等于，默认是等于判断，没有运算符
小于$lt
小于或等于$lte
大于$gt
大于或等于$gte
不等于$ne
例1：查询名称等于'gj'的学生

        db.stu.find({name:'gj'})

例2：查询年龄大于或等于18的学生

        db.stu.find({age:{$gte:18}})

3.逻辑运算符

查询时可以有多个条件，多个条件之间需要通过逻辑运算符连接
逻辑与：默认是逻辑与的关系
例3：查询年龄大于或等于18，并且性别为1的学生

        db.stu.find({age:{$gte:18},gender:1})

逻辑或：使用$or
例4：查询年龄大于18，或性别为0的学生

        db.stu.find({$or:[{age:{$gt:18}},{gender:1}]})

and和or一起使用
例5：查询年龄大于18或性别为0的学生，并且学生的姓名为gj

        db.stu.find({$or:[{age:{$gte:18}},{gender:1}],name:'gj'})

4.范围运算符

使用"$in"，"$nin" 判断是否在某个范围内
例6：查询年龄为18、28的学生

        db.stu.find({age:{$in:[18,28]}})

5.支持正则表达式

使用//或$regex编写正则表达式
例7：查询姓黄的学生

        db.stu.find({name:/^黄/})
        db.stu.find({name:{$regex:'^黄'}}})

6.自定义查询

使用$where后面写一个函数，返回满足条件的数据
例7：查询年龄大于30的学生

        db.stu.find({$where:function(){return this.age>20}})

7.Limit

方法limit()：用于读取指定数量的文档
语法：

        db.集合名称.find().limit(NUMBER)

参数NUMBER表示要获取文档的条数
如果没有指定参数则显示集合中的所有文档
例1：查询2条学生信息

        db.stu.find().limit(2)

8.skip

方法skip()：用于跳过指定数量的文档
语法：

        db.集合名称.find().skip(NUMBER)

参数NUMBER表示跳过的记录条数，默认值为0
例2：查询从第3条开始的学生信息

        db.stu.find().skip(2)

9.limit与skip一起使用

方法limit()和skip()可以一起使用，不分先后顺序
创建数据集

        for(i=0;i<15;i++){db.t1.insert({_id:i})}

查询第5至8条数据

        db.stu.find().limit(4).skip(5)
或
        db.stu.find().skip(5).limit(4)

10.投影

在查询到的返回结果中，只选择必要的字段，而不是选择一个文档的整个字段
如：一个文档有5个字段，需要显示只有3个，投影其中3个字段即可
语法：
参数为字段与值，值为1表示显示，值为0不显示

        db.集合名称.find({},{字段名称:1,...})

对于需要显示的字段，设置为1即可，不设置即为不显示
特殊：对于_id列默认是显示的，如果不显示需要明确设置为0
例1

        db.stu.find({},{name:1,gender:1})

例2

        db.stu.find({},{_id:0,name:1,gender:1})

11.排序

方法sort()，用于对结果集进行排序
语法

        db.集合名称.find().sort({字段:1,...})

参数1为升序排列
参数-1为降序排列
例1：根据性别降序，再根据年龄升序

        db.stu.find().sort({gender:-1,age:1})

12.统计个数

方法count()用于统计结果集中文档条数
语法

        db.集合名称.find({条件}).count()

也可以与为

        db.集合名称.count({条件})

例1：统计男生人数

        db.stu.find({gender:1}).count()

例2：统计年龄大于20的男生人数

        db.stu.count({age:{$gt:20},gender:1})

13.消除重复

方法distinct()对数据进行去重
语法

        db.集合名称.distinct('去重字段',{条件})

例1:查找年龄大于18的性别（去重）

        db.stu.distinct('gender',{age:{$gt:18}})

聚合（统计）

1.聚合 aggregate

聚合(aggregate)主要用于计算数据，类似sql中的sum()、avg()
语法

        db.集合名称.aggregate([{管道:{表达式}}])

2.管道

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入

        ps ajx | grep mongo

在mongodb中，管道具有同样的作用，文档处理完毕后，通过管道进行下一次处理
常用管道
- $group：将集合中的文档分组，可用于统计结果
- $match：过滤数据，只输出符合条件的文档
- $project：修改输入文档的结构，如重命名、增加、删除字段、创建计算结果
- $sort：将输入文档排序后输出
- $limit：限制聚合管道返回的文档数
- $skip：跳过指定数量的文档，并返回余下的文档
- $unwind：将数组类型的字段进行拆分

3.表达式

处理输入文档并输出
语法

表达式:'$列名'

常用表达式
- $sum：计算总和，$sum:1同count表示计数
- $avg：计算平均值
- $min：获取最小值
- $max：获取最大值
- $push：在结果文档中插入值到一个数组中
- $first：根据资源文档的排序获取第一个文档数据
- $last：根据资源文档的排序获取最后一个文档数据

$group

将集合中的文档分组，可用于统计结果
_id表示分组的依据，使用某个字段的格式为'$字段'
例1：统计男生、女生的总人数

        db.stu.aggregate([
            {$group:
                {
                    _id:'$gender',
                    counter:{$sum:1}
                }
            }
        ])

Group by null

将集合中所有文档分为一组
例2：求学生总人数、平均年龄

        db.stu.aggregate([
            {$group:
                {
                    _id:null,
                    counter:{$sum:1},
                    avgAge:{$avg:'$age'}
                }
            }
        ])

透视数据

例3：统计学生性别及学生姓名

        db.stu.aggregate([
            {$group:
                {
                    _id:'$gender',
                    name:{$push:'$name'}
                }
            }
        ])

使用$$ROOT可以将文档内容加入到结果集的数组中，代码如下

        db.stu.aggregate([
            {$group:
                {
                    _id:'$gender',
                    name:{$push:'$$ROOT'}
                }
            }
        ])

$match

用于过滤数据，只输出符合条件的文档
使用MongoDB的标准查询操作
例1：查询年龄大于20的学生

        db.stu.aggregate([
            {$match:{age:{$gt:20}}}
        ])

例2：查询年龄大于20的男生、女生人数

        db.stu.aggregate([
            {$match:{age:{$gt:20}}},
            {$group:{_id:'$gender',counter:{$sum:1}}}
        ])

$project

修改输入文档的结构，如重命名、增加、删除字段、创建计算结果
例1：查询学生的姓名、年龄

        db.stu.aggregate([
            {$project:{_id:0,name:1,age:1}}
        ])

例2：查询男生、女生人数，输出人数

        db.stu.aggregate([
            {$group:{_id:'$gender',counter:{$sum:1}}},
            {$project:{_id:0,counter:1}}
         ])

$sort

将输入文档排序后输出
例1：查询学生信息，按年龄升序

        b.stu.aggregate([{$sort:{age:1}}])

例2：查询男生、女生人数，按人数降序

        db.stu.aggregate([
            {$group:{_id:'$gender',counter:{$sum:1}}},
            {$sort:{counter:-1}}
        ])

$limit和$skip

限制聚合管道返回的文档数
例1：查询2条学生信息

        db.stu.aggregate([{$limit:2}])

跳过指定数量的文档，并返回余下的文档
例2：查询从第3条开始的学生信息

        db.stu.aggregate([{$skip:2}])

例3：统计男生、女生人数，按人数升序，取第二条数据

        db.stu.aggregate([
            {$group:{_id:'$gender',counter:{$sum:1}}},
            {$sort:{counter:1}},
            {$skip:1},
            {$limit:1}
        ])

注意顺序：先写skip，再写limit

$unwind

将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值

语法1

对某字段值进行拆分

        db.集合名称.aggregate([{$unwind:'$字段名称'}])

构造数据

        db.t2.insert({_id:1,item:'t-shirt',size:['S','M','L']})

查询

        db.t2.aggregate([{$unwind:'$size'}])

语法2

对某字段值进行拆分
处理空数组、非数组、无字段、null情况

        db.inventory.aggregate([{
            $unwind:{
                path:'$字段名称',
                preserveNullAndEmptyArrays:<boolean>#防止数据丢失
            }
        }])

构造数据

        db.t3.insert([
        { "_id" : 1, "item" : "a", "size": [ "S", "M", "L"] },
        { "_id" : 2, "item" : "b", "size" : [ ] },
        { "_id" : 3, "item" : "c", "size": "M" },
        { "_id" : 4, "item" : "d" },
        { "_id" : 5, "item" : "e", "size" : null }
        ])

使用语法1查询

        db.t3.aggregate([{$unwind:'$size'}])

查看查询结果，发现对于空数组、无字段、null的文档，都被丢弃了
问：如何能不丢弃呢？
答：使用语法2查询

        db.t3.aggregate([{$unwind:{path:'$sizes',preserveNullAndEmptyArrays:true}}])

索引

步骤一：创建大量数据

执行如下代码，向集合中插入10万条文档

for(i=0;i<100000;i++){

db.t1.insert({name:'test+i',age:i})

}

步骤二：数据查找性能分析

查找姓名为'test1000'的文档

db.t1.find({name:'test1000'})

使用explain()命令进行查询性能分析

db.t1.find({name:'test1000'}).explain('executionStats'),其中executionStats下的executionTImeMillis表示整体查询时间，单位是毫秒

步骤三：建立索引

创建索引，1表示升序，-1表示降序

db.集合.ensureIndex({属性：1})，如db.集合.ensureIndex({属性：1})

步骤四：对索引属性查询

执行上面同样的查询，并进行查询性能分析

db.t1.find({name:'test1000'}).explain('executionStats')

索引的命令

建立唯一索引，实现唯一约束的功能

db.t1.exsureIndex({'name':1},{'unique':true})

联合索引，对多个属性建立一个索引，按照find（）出现的顺序

db.t1.ensureIndex({name:1,age:1})

查看文档所有索引

db.t1.Indexes()

删除索引

db.t1.dropIndexes('索引名称')

超级管理员

为了更安全的访问mongodb，需要访问者提供用户名和密码，于是需要在mongodb中创建用户
采用了角色-用户-数据库的安全管理方式
常用系统角色如下：
- root：只在admin数据库中可用，超级账号，超级权限
- Read：允许用户读取指定数据库
- readWrite：允许用户读写指定数据库
创建超级管理用户

        use admin
        db.createUser({
            user:'admin',
            pwd:'123',
            roles:[{role:'root',db:'admin'}]
        })

启用安全认证

修改配置文件

        sudo vi /etc/mongod.conf

启用身份验证
注意：keys and values之间一定要加空格, 否则解析会报错

        security:
          authorization: enabled

重启服务

        sudo service mongod stop
        sudo service mongod start

终端连接

         mongo -u 'admin' -p '123' --authenticationDatabase 'admin'

普通用户管理

使用超级管理员登录，然后进入用户管理操作
查看当前数据库的用户

        use test1
        show users

创建普通用户

        db.createUser({
            user:'t1',
            pwd:'123',
            roles:[{role:'readWrite',db:'test1'}]
        })

终端连接

        mongo -u t1 -p 123 --authenticationDatabase test1

切换数据库，执行命令查看效果
修改用户：可以修改pwd、roles属性

        db.updateUser('t1',{pwd:'456'})

备份与恢复

语法

mongodump -h dbhost -d dbname -o dbdirectory

-h：服务器地址，也可以指定端口号
-d：需要备份的数据库名称
-o：备份的数据存放位置，此目录中存放着备份出来的数据
例1

sudo mkdir test1bak
sudo mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1bak

语法

mongorestore -h dbhost -d dbname --dir dbdirectory

-h：服务器地址
-d：需要恢复的数据库实例
--dir：备份数据所在位置
例2

mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1bak/test1

与python交互

点击查看官方文档
安装python包

进入虚拟环境
        sudo pip install pymongo
或源码安装
        python setup.py

引入包pymongo

        import pymongo

连接，创建客户端

        client=pymongo.MongoClient("localhost", 27017)

获得数据库test1

        db=client.test1

获得集合stu

        stu = db.stu

添加文档

        s1={name:'gj',age:18}
        s1_id = stu.insert_one(s1).inserted_id

查找一个文档

        s2=stu.find_one()

查找多个文档1

        for cur in stu.find():
            print cur

查找多个文档2

        cur=stu.find()
        cur.next()
        cur.next()
        cur.next()

获取文档个数

        print stu.count()

MongoDB数据库

MongoDB数据库

数据库操作

集合创建

数据类型

数据操作

数据查询

聚合（统计）

$group

Group by null

透视数据

$match

$project

$sort

$limit和$skip

$unwind

索引

超级管理员

备份与恢复

与python交互

猜你喜欢