- MongoDB - 增删改查及聚合操作
- 一. 数据库操作(database)
- 1. 创建及查看库
- 2. 删除库
- 二. 集合collectionc=操作(相当于SQL数据库中的表table)
- 1、增
- 2、查
- 3、删
- 三. 文件操作
- 1.增(insert)
- 2.删(delect,remove)
- 3.改(update)
- 1.简单修改
- 2.加减操作: $inc
- 3.添加删除数组内元祖$push $pop $pull
- 4.避免重复添加 $addToSet
- 5.限制大小,排序
- 4.查
- 1.简单用法
- 2.比较运算:=,!= ('$ne') ,> ('$gt') ,< ('$lt') ,>= ('$gte') ,<= ('$lte')
- 3.逻辑运算:MongoDB中字典内用逗号分隔多个条件是and关系,或者直接用$and,$o,r$not(与或非)
- 4.成员运算:成员运算无非in和not in,MongoDB中形式为$in , $nin
- 5.正则:正则定义在/ /内
- 6.查看指定字段:0表示不显示1表示显示
- 7.对数组的查询:
- 8.对查询结果进行排序:sort() 1代表升序、-1代表降序
- 9.分页:limit表示取多少个document,skip代表跳过几个document
- 10.获取数量:count()
- 11.其他
- 四. 聚合操作
- $match和 $group:相当于sql语句中的where和group by
- $project:用于投射,即设定该键值对是否保留。1为保留,0为不保留,可对原有键值对做操作后增加自定义表达式
- 排序:$sort、限制:$limit、跳过:$skip
- 随机选取n个:$sample
- 练习题
- 一. 数据库操作(database)
MongoDB - 增删改查及聚合操作
一. 数据库操作(database)
Mysql MongoDB
数据表 table Collections
数据行 row Documents
数据列 字段 Field
1. 创建及查看库
1. 有则使用这个数据库没有则创建
use DATABASE_NAME
2. 查看当前选择的数据库, 默认是test
db
3. 查看数据库,默认有admin、local和"test",如果数据库生成但是没有集合(下面会讲)所以此时只有逻辑数据库产生并没有真正意义上的物理数据,这样看不到查询结果
show dbs
2. 删除库
use database_name #先切换到要删的库下 db.dropDatabase() #删除当前库
二. 集合collectionc=操作(相当于SQL数据库中的表table)
1、增
use db1#选择所在数据库 #方式一: db.table1.insert({'a':1})#当第一个文档插入时,集合就会被创建并包含该文档 #方式二: db.table2#创建一个空集合
2、查
show collections show tables#两者等价
3、删
db.table1.drop() #集合没有改的操作
三. 文件操作
1.增(insert)
user0={ "_id":1, "name":"alex", "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'city':'weifang' } } user1={ "_id":2, "name":"wupeiqi", "age":20, 'hobbies':['music','read','run'], 'addr':{ 'country':'China', 'city':'hebei' } } db.table1.insert(user0) # 增加一个 db.table1.insertMany([user0, user1]) # 增加多个
2.删(delect,remove)
#1、删除符合条件的第一个文档 db.user.deleteOne({ 'age': 8 })#第一个包含有 'age': 8的文档 #2、删除符合条件的全部 db.user.deleteMany( {'addr.country': 'China'} ) #只要有内嵌文档,且内容含有country': 'China'的全都删除 db.user.deleteMany({"_id":{"$gte":3}})#删除id大于等于3的所有 #3、删除全部 db.user.deleteMany({}) #等于是清空该集合(表)
3.改(update)
1.简单修改
db.user.update({}, {$set:{}}) # 默认修改第一条 db.user.updateOne({age:99}, {$set:{"name":"JW8"}}) # 默认修改第一条, 官方推荐. db.user.updateMany({age:99}, {$set:{"name":"JW8"}}) # 更新所有符合条件的数据
2.加减操作: $inc
#增加和减少$inc #年龄都+1 db.user.update( {}, {"$inc":{"age":1}}, {"multi":true} ) #年龄都-10 db.user.update( {}, {"$inc":{"age":-10}}, {"multi":true} )
3.添加删除数组内元祖$push $pop $pull
$push的功能是往现有数组内添加元素 #1、为名字为武大郎的人添加一个爱好read db.user.update({"name":"武大郎"},{"$push":{"hobbies":"read"}}) #2、为名字为武大郎的人一次添加多个爱好tea,dancing db.user.update({"name":"武大郎"},{"$push":{ "hobbies":{"$each":["tea","dancing"]} }}) $pop的功能是按照位置只能从头或从尾即两端删元素,类似于队列。1代表尾,-1代表头 #1、{"$pop":{"key":1}} 从数组末尾删除一个元素 db.user.update({"name":"武大郎"},{"$pop":{ "hobbies":1} }) #2、{"$pop":{"key":-1}} 从头部删除 db.user.update({"name":"武大郎"},{"$pop":{ "hobbies":-1} }) $pull可以自定义条件删除 db.user.update({'addr.country':"China"},{"$pull":{ "hobbies":"read"} }, { "multi":true } )
4.避免重复添加 $addToSet
即多个相同元素要求插入时只插入一条 db.urls.insert({"_id":1,"urls":[]}) db.urls.update( {"_id":1}, { "$addToSet":{ "urls":{ "$each":[ 'http://www.baidu.com', 'http://www.baidu.com', 'http://www.xxxx.com' ] } } } )
5.限制大小,排序
#1、了解:限制大小"$slice",只留最后n个 db.user.update({"_id":5},{ "$push":{"hobbies":{ "$each":["read",'music','dancing'], "$slice":-2 } } }) #2、了解:排序The $sort element value must be either 1 or -1" db.user.update({"_id":5},{ "$push":{"hobbies":{ "$each":["read",'music','dancing'], "$slice":-1, "$sort":-1 } } }) #注意:不能只将"$slice"或者"$sort"与"$push"配合使用,且必须使用"$each"
4.查
1.简单用法
db.user.find({}) # 查询所有符合条件的数据 db.th.findOne({}) # 查询符合条件的第一条数据 db.th.findOne({name:2}) # 查询name字段 == 2 的数据 db.stu.find({name:"辉哥",age:99}) # 并列条件 name与age 同时满足的
2.比较运算:=,!= ('$ne') ,> ('$gt') ,< ('$lt') ,>= ('$gte') ,<= ('$lte')
=,!= ('$ne') ,> ('$gt') ,< ('$lt') ,>= ('$gte') ,<= ('$lte') #1、select * from db1.user where id = 3 db.user.find({"_id":3}) #2、select * from db1.user where id != 3 db.user.find({"_id":{"$ne":3}}) #3、select * from db1.user where id > 3 db.user.find({"_id":{"$gt":3}}) #4、select * from db1.user where age < 3 db.user.find({"age":{"$lt":3}}) #5、select * from db1.user where id >= 3 db.user.find({"_id":{"$gte":3}}) #6、select * from db1.user where id <= 3 db.user.find({"_id":{"$lte":3}})
3.逻辑运算:MongoDB中字典内用逗号分隔多个条件是and关系,或者直接用$and,$o,r$not(与或非)
#逻辑运算:$and,$or,$not #1 select * from db1.user where id >=3 and id <=4; db.user.find({"_id":{"$gte":3,"$lte":4}}) #2 select * from db1.user where id >=3 and id <=4 and age >=40; db.user.find({ "_id":{"$gte":3,"$lte":4}, "age":{"$gte":40} }) db.user.find({"$and":[ {"_id":{"$gte":3,"$lte":4}}, {"age":{"$gte":40}} ]}) #3 select * from db1.user where id >=0 and id <=1 or id >=4 or name = "yuanhao"; db.user.find({"$or":[ {"_id":{"$lte":1,"$gte":0}}, {"_id":{"$gte":4}}, {"name":"yuanhao"} ]}) #4 select * from db1.user where id % 2 = 1; db.user.find({"_id":{"$mod":[2,1]}}) db.user.find({ "_id":{"$not":{"$mod":[2,1]}} })
4.成员运算:成员运算无非in和not in,MongoDB中形式为$in , $nin
#1、select * from db1.user where age in (20,30,31); db.user.find({"age":{"$in":[20,30,31]}}) #2、select * from db1.user where name not in ('alex','yuanhao'); db.user.find({"name":{"$nin":['Stefan','Damon']}})
5.正则:正则定义在/ /内
# MongoDB: /正则表达/i #1、select * from db1.user where name regexp '^j.*?(g|n)$'; db.user.find({'name':/^j.*?(g|n)$/i})#匹配规则:j开头、g或n结尾,不区分大小写
6.查看指定字段:0表示不显示1表示显示
#1、select name,age from db1.user where id=3; db.user.find({'_id':3},{'_id':0,'name':1,'age':1}) #2、select name,age from db1.user where name regexp "^jin.*?(g|n)$"; db.user.find({ "name":/^jin.*?(g|n)$/i }, { "_id":0, "name":1, "age":1 } )
7.对数组的查询:
#查询数组相关 #查hobbies中有dancing的人 db.user.find({ "hobbies":"dancing" }) #查看既有dancing爱好又有tea爱好的人 db.user.find({ "hobbies":{"$all":["dancing","tea"]} }) #查看第2个爱好为dancing的人 db.user.find({ "hobbies.2":"dancing" }) #查看所有人的第2个到第3个爱好 db.user.find( {}, { "_id":0, "name":0, "age":0, "addr":0, "hobbies":{"$slice":[1,2]}, } ) #查看所有人最后两个爱好,第一个{}表示查询条件为所有,第二个是显示条件 db.user.find( {}, { "_id":0, "name":0, "age":0, "addr":0, "hobbies":{"$slice":-2}, } ) #查询子文档有"country":"China"的人 db.user.find( { "addr.country":"China" } )
8.对查询结果进行排序:sort() 1代表升序、-1代表降序
db.user.find().sort({"name":1,}) db.user.find().sort({"age":-1,'_id':1})
9.分页:limit表示取多少个document,skip代表跳过几个document
#这样就做到了分页的效果 db.user.find().limit(2).skip(0)#前两个 db.user.find().limit(2).skip(2)#第三个和第四个 db.user.find().limit(2).skip(4)#第五个和第六个
10.获取数量:count()
#查询年龄大于30的人数 #方式一: db.user.count({'age':{"$gt":30}}) #方式二: db.user.find({'age':{"$gt":30}}).count()
11.其他
#1、查找所有 db.user.find() #等同于db.user.find({}) db.user.find().pretty() #2、去重 db.user.find().distinct() #3、{'key':null} 匹配key的值为null或者没有这个key db.t2.insert({'a':10,'b':111}) db.t2.insert({'a':20}) db.t2.insert({'b':null}) db.t2.find({"b":null})#得到的是b这个key的值为null和没有b这个key的文档 { "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 } { "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }
四. 聚合操作
我们在查询时肯定会用到聚合,在MongoDB中聚合为aggregate,聚合函数主要用到$match $group $avg $project $concat
设我们的数据库中有这样的数据
from pymongo import MongoClient import datetime client=MongoClient('mongodb://root:123@localhost:27017') table=client['db1']['emp'] # table.drop() l=[ ('武大郎','male',18,'20170301','烧饼检察官',7300.33,401,1), ('武松','male',78,'20150302','公务员',1000000.31,401,1), ('宋江','male',81,'20130305','公务员',8300,401,1), ('林冲','male',73,'20140701','公务员',3500,401,1), ('柴进','male',28,'20121101','公务员',2100,401,1), ('卢俊义','female',18,'20110211','公务员',9000,401,1), ('高俅','male',18,'19000301','公务员',30000,401,1), ('鲁智深','male',48,'20101111','公务员',10000,401,1), ('史进','female',48,'20150311','打手',3000.13,402,2), ('李逵','female',38,'20101101','打手',2000.35,402,2), ('周通','female',18,'20110312','打手',1000.37,402,2), ('石秀','female',18,'20160513','打手',3000.29,402,2), ('李忠','female',28,'20170127','打手',4000.33,402,2), ('吴用','male',28,'20160311','文人',10000.13,403,3), ('萧让','male',18,'19970312','文人',20000,403,3), ('安道全','female',18,'20130311','文人',19000,403,3), ('公孙胜','male',18,'20150411','文人',18000,403,3), ('朱贵','female',18,'20140512','文人',17000,403,3) ] for n,item in enumerate(l): d={ "_id":n, 'name':item[0], 'sex':item[1], 'age':item[2], 'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'), 'post':item[4], 'salary':item[5] } table.save(d)
$match和 $group:相当于sql语句中的where和group by
{"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等 #例1、select * from db1.emp where post='公务员'; db.emp.aggregate({"$match":{"post":"公务员"}}) #例2、select * from db1.emp where id > 3 group by post; db.emp.aggregate( {"$match":{"_id":{"$gt":3}}}, {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}} ) #例3、select * from db1.emp where id > 3 group by post having avg(salary) > 10000; db.emp.aggregate( {"$match":{"_id":{"$gt":3}}}, {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}, {"$match":{"avg_salary":{"$gt":10000}}} )
$group具体
{"$group":{"_id":分组字段,"新的字段名":聚合操作符}} #1、将分组字段传给$group函数的_id字段即可 {"$group":{"_id":"$sex"}} #按照性别分组 {"$group":{"_id":"$post"}} #按照职位分组 {"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组,比如按照州市分组 #2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符:$sum、$avg、$max、$min、$first、$last #例1:select post,max(salary) from db1.emp group by post; db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}}) #例2:取每个部门最大薪资与最低薪资 db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}}) #例3:如果字段是排序后的,那么$first,$last会很有用,比用$max和$min效率高 db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}}) #例4:求每个部门的总工资 db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}}) #例5:求每个部门的人数 db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}}) #3、数组操作符 {"$addToSet":expr}#不重复 {"$push":expr}#重复 #例:查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post; db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}}) db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})
$project:用于投射,即设定该键值对是否保留。1为保留,0为不保留,可对原有键值对做操作后增加自定义表达式
{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}} #select name,post,(age+1) as new_age from db1.emp; db.emp.aggregate( {"$project":{ "name":1, "post":1, "new_age":{"$add":["$age",1]} } })
更多自定义表达式
#1、表达式之数学表达式 {"$add":[expr1,expr2,...,exprN]} #相加 {"$subtract":[expr1,expr2]} #第一个减第二个 {"$multiply":[expr1,expr2,...,exprN]} #相乘 {"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果 {"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果 #2、表达式之日期表达式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second #例如:select name,date_format("%Y") as hire_year from db1.emp db.emp.aggregate( {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}} ) #例如查看每个员工的工作多长时间 db.emp.aggregate( {"$project":{"name":1,"hire_period":{ "$subtract":[ {"$year":new Date()}, {"$year":"$hire_date"} ] }}} ) #3、字符串表达式 {"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]} {"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接 {"$toLower":expr} {"$toUpper":expr} db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}}) #4、逻辑表达式 $and $or $not
排序:$sort、限制:$limit、跳过:$skip
{"$sort":{"字段名":1,"字段名":-1}} #1升序,-1降序 {"$limit":n} {"$skip":n} #跳过多少个文档 #例1、取平均工资最高的前两个部门 db.emp.aggregate( { "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}} }, { "$sort":{"平均工资":-1} }, { "$limit":2 } ) #例2、 db.emp.aggregate( { "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}} }, { "$sort":{"平均工资":-1} }, { "$limit":2 }, { "$skip":1 } )
随机选取n个:$sample
#集合users包含的文档如下 { "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true } { "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false } { "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true } { "_id" : 4, "name" : "li", "q1" : true, "q2" : false } { "_id" : 5, "name" : "annT", "q1" : false, "q2" : true } { "_id" : 6, "name" : "li", "q1" : true, "q2" : true } { "_id" : 7, "name" : "ty", "q1" : false, "q2" : true } #下述操作时从users集合中随机选取3个文档 db.users.aggregate( [ { $sample: { size: 3 } } ] )
练习题
- 查询岗位名以及各岗位内的员工姓名
- 查询岗位名以及各岗位内包含的员工个数
- 查询公司内男员工和女员工的个数
- 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资
- 查询男员工与男员工的平均薪资,女员工与女员工的平均薪资
- 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数
- 查询各岗位平均薪资大于10000的岗位名、平均工资
- 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资
- 查询所有员工信息,先按照age升序排序,如果age相同则按照hire_date降序排序
- 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列
-
查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个
1. 查询岗位名以及各岗位内的员工姓名 db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}}) 2. 查询岗位名以及各岗位内包含的员工个数 db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}}) 3. 查询公司内男员工和女员工的个数 db.emp.aggregate({"$group":{"_id":"$sex","count":{"$sum":1}}}) 4. 查询岗位名以及各岗位的平均薪资、最高薪资、最低薪资 db.emp.aggregate({"$group":{"_id":"$post","avg_salary":{"$avg":"$salary"},"max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}}) 5. 查询男员工与男员工的平均薪资,女员工与女员工的平均薪资 db.emp.aggregate({"$group":{"_id":"$sex","avg_salary":{"$avg":"$salary"}}}) 6. 查询各岗位内包含的员工个数小于2的岗位名、岗位内包含员工名字、个数 db.emp.aggregate( { "$group":{"_id":"$post","count":{"$sum":1},"names":{"$push":"$name"}} }, {"$match":{"count":{"$lt":2}}}, {"$project":{"_id":0,"names":1,"count":1}} ) 7. 查询各岗位平均薪资大于10000的岗位名、平均工资 db.emp.aggregate( { "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}} }, {"$match":{"avg_salary":{"$gt":10000}}}, {"$project":{"_id":1,"avg_salary":1}} ) 8. 查询各岗位平均薪资大于10000且小于20000的岗位名、平均工资 db.emp.aggregate( { "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}} }, {"$match":{"avg_salary":{"$gt":10000,"$lt":20000}}}, {"$project":{"_id":1,"avg_salary":1}} ) 9. 查询所有员工信息,先按照age升序排序,如果age相同则按照hire_date降序排序 db.emp.aggregate( {"$sort":{"age":1,"hire_date":-1}} ) 10. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资升序排列 db.emp.aggregate( { "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}} }, {"$match":{"avg_salary":{"$gt":10000}}}, {"$sort":{"avg_salary":1}} ) 11. 查询各岗位平均薪资大于10000的岗位名、平均工资,结果按平均薪资降序排列,取前1个 db.emp.aggregate( { "$group":{"_id":"$post","avg_salary":{"$avg":"$salary"}} }, {"$match":{"avg_salary":{"$gt":10000}}}, {"$sort":{"avg_salary":-1}}, {"$limit":1}, {"$project":{"date":new Date,"平均工资":"$avg_salary","_id":0}} )
※pymongo基本操作
import pymongo from pymongo.results import InsertOneResult,InsertManyResult,UpdateResult,DeleteResult from bson import ObjectId mongo_client = pymongo.MongoClient("127.0.0.1",27017) db = mongo_client["DragonFire"] # 增加 # res = db.users.insert_one({"name":"DragonFire"}) # type:InsertOneResult # print(res,res.inserted_id) # res = db.users.insert_many([{"name":"DragonFire"},{"name":"alexander"}]) # type:InsertManyResult # print(res,res.inserted_ids) # 查询 # res = db.users.find_one({"name":"DragonFire"}) # import json # res["_id"] = str(res.get("_id")) # json_str = json.dumps(res) # loads_str = json.loads(json_str) # res = db.users.find_one({"_id":ObjectId(loads_str.get("_id"))}) # # print(ObjectId("123123123123123123123123").from_datetime()) # print(res) # # print(type(res.get("_id"))) # import json # res = list(db.users.find({"name":"DragonFire"})) # for index,item in enumerate(res): # res[index]["_id"] = str(item.get("_id")) # print(json.dumps(res)) # 改 # res = db.users.update_one({"name":"DragonFire"},{"$set":{"age":19}}) #type:UpdateResult # print(res,type(res),res.upserted_id,res.raw_result) # res = db.users.update_many({"name":"DragonFire"},{"$set":{"age":19}}) #type:UpdateResult # print(res,type(res),res.raw_result) # 删除: # res = db.users.delete_one({"name":"alexander"}) # type:DeleteResult # print(res.raw_result,res.deleted_count) # res = db.users.delete_many({"name":"alexander"}) # type:DeleteResult # print(res.raw_result,res.deleted_count)
基于pyMongo + Flash的注册:
from flask import Flask,request,render_template from s1 import db app = Flask(__name__) app.debug = True @app.route("/reg",methods=["GET","POST"]) def reg(): if request.method == "GET": return render_template("reg.html") else: # username = request.form.get("username") # password = request.form.get("password") user_info = request.form.to_dict() res = db.users.insert_one(user_info) print(res.inserted_id) return "200 OK" if __name__ == '__main__': app.run()
json序列化
import json from pymongo import MongoClient from bson import ObjectId # 转换 id json 序列化 # user = list(MONGODB.users.find({})) # for index,item in enumerate(user): # user[index]["_id"] = str(item.get("_id")) # print(json.dumps(user))