为什么要使用mongodb

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的

更高的写入负载
默认情况， mongodb 更侧重更高数据的写入能力，而不是事物的安全。mongodb很适合业务系统中有大量“低价值”的数据场景。应当避免在高事务安全性的系统中使用mongodb，除非能在架构设计上面保障事务安全。

数据量很大或者未来变化很大
依赖数据（mysql）库自身的特性,完成数据的拓展是比较困难的。在mysql 中当单表数据达到5G时候会出现明显的性能降级，此时通过数据的水平和垂直拆分，库的拆分完成拓展。使用mysql通常需要借助驱动层或者代理层来完成需求。而mongodb内建的多种数据分片特性，可以很好的适应大数据的需求。

表结构不明确，且数据组在不断的变大
在传统的RDBM中，增加一个字段会锁住整个数据库或者表。或者在执行一个负载比较重请求时候会明显造成其他性能的降低。
通常发生在数据表大于1G的时候。 mongodb 是一个文档型数据库，增加一个字段是一个很快的操作，不会影响到已经有的数据。当业务数据发生变化的时候不需要使用DBA 修改表结构

基于位置的数据查询
mongodb 支持二维空间索引，可以快速精确的从指定位置获取数据（没有使用过）

高可用
mongodb 配置主从非常的简洁。、mongodb 可以快速响应处理节点故障，自动安全的完成节点故障转移

什么场景使用mongodb

案例一
用在应用服务器的日志记录，查找起来比文本灵活，导出也很方便。也是给应用练手，从外围开始使用mongodb

用在第三方信息的获取或者抓取，存储格式比较灵活，不用为各种格式不一样的信息专门设置统一的格式。极大减少开发时间。

案例二
主要用来存储一些监控数据。增加字段不用修改数据库的结构，而且学习成本很低。

案例三

使用mongodb 做o2o快递应用，将送快递骑手，快递商家的信息（包含位置信息）存贮在mongodb 中然后通过mongodb的地理位置查询

扫描二维码关注公众号，回复： 1476663 查看本文章

主要特性

MongoDB 特性	优势
事务支持	MongoDB 目前只支持单文档事务，需要复杂事务支持的场景暂时不适合
灵活的文档模型	JSON 格式存储最接近真实对象模型，对开发者友好，方便快速开发迭代
高可用复制集	满足数据高可靠、服务高可用的需求，运维简单，故障自动切换
可扩展分片集群	海量数据存储，服务能力水平扩展
高性能	mmapv1、wiredtiger、mongorocks（rocksdb）、in-memory 等多引擎支持满足各种场景需求
强大的索引支持	地理位置索引可用于构建各种 O2O 应用、文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求
Gridfs	解决文件存储的需求
aggregation & mapreduce	解决数据分析场景需求，用户可以自己写查询语句或脚本，将请求都分发到 MongoDB 上完成

mongodb 的应用已经渗透到各个领域。游戏，物流，电商，内容管理，社交，物联网，视频直播等等

游戏场景，使用mongodb 存储游戏用户信息，用户的装备，积分等直接以内嵌的文档的形式存储，方便查询跟新。
物流场景，使用mongodb 存储订单信息，订单的状态在运行的过程中会不断的变化跟新，以mongodb 内嵌的数组的形式来存储。一次查询就能将订单所有的变更查询出来
社交场景，存贮用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人，地点等功能。（重点，目前业务）
物联网场景，存贮所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析
视频直播，使用mongodb存贮用户信息，礼物信息
。。。

通过下面的辅助来判断是否使用mongodb

MongoDB 特性	优势
应用特征	Yes / No
应用不需要事务及复杂 join 支持	必须Yes
新应用，需求会变，数据模型无法确定，想快速迭代开发	？
应用需要2000-3000以上的读写QPS（更高也可以）	？
应用需要TB甚至 PB 级别数据存储	？
应用发展迅速，需要能快速水平扩展	？
应用要求存储的数据不丢失	？
应用需要99.999%高可用	？
应用需要大量的地理位置查询、文本查询	？

如果上述有1个 Yes，可以考虑 MongoDB，2个及以上的 Yes，选择MongoDB绝不会后悔。

使用核心是有3大元素决定的：灵活的文档模型 + 高可用复制集 + 可拓展分片集群

可以使用的
地理搜索，零散文件，对事物无要求的数据，高性能的存贮服务

学习mongodb

目前我觉得最好的学习方式就是用项目驱动，最好的资源就是官网
https://docs.mongodb.com/manual/reference/method/db.collection.find/#db.collection.find
个人觉得官网写的真是详细。怎么使用还有和关系型数据库之间的sql 比较。这样就很好的对应和理解
这里有一个对应映射的
https://docs.mongodb.com/manual/reference/sql-comparison/

我学习就是先把菜鸟看一遍了解个基础和大概再去用实际使用的语言去使用

pymongo

https://docs.mongodb.com/getting-started/python/query/

使用python 进行操作monggodb 使用起来比较方便。但会字段形式的数据

mongoengine

类似于 django 的orm 关系对象模型。对开发人员比较友好，类面向对象编程

下面是根据项目对mongodb 使用的一个数据库架构设计。

目录结构是这样的
这里写图片描述

common 目录

connection

from mongoengine import *

HOST = "192.168.128.128"
PORT = 27017
DB = "yang"


# def co():
#     connect(db=DB, host=HOST, port=PORT)
connect(db=DB, host=HOST, port=PORT)

if __name__ == '__main__':
    pass

operation

from mongoengine.queryset.visitor import Q
class Operation(object):
    @staticmethod
    def add(model, **document_dict):
        model = model(**document_dict)

        model.save()

    @staticmethod
    def get_query(model):
        query = model.objects()
        return query

    @staticmethod
    def delete(query):
        query.delete()

    @staticmethod
    def update(query, **data):
        query.update(**data)

    @staticmethod
    def filter(model, **data):
        query = model.objects(**data)
        return query

    @staticmethod
    def object_filter(model, **data):
        """高级查询"""
        query = model.objects.filter(**data)
        return query

    @staticmethod
    def query_fields(query, **data):
        """高级查询"""
        query = query.fields(**data)
        return query
if __name__ == '__main__':
    pass

model

basic_model

from yang.mongoengine_study.common.connection import *
from datetime import datetime

class BasicModel(Document):
    created_at = DateTimeField(default=datetime.utcnow())
    changed_at = DateTimeField(default=datetime.utcnow())
    meta = {'allow_inheritance': True}
# BasicModel().save()

match_log

from yang.mongoengine_study.common.connection import *
from datetime import datetime
import time

class MatchLog(Document):
    created_at = DateTimeField(default=datetime.utcnow)
    changed_at = DateTimeField(default=datetime.utcnow)
    timestamp = IntField(default=int(time.time()))
    message = StringField(max_length=100)
    name = StringField(max_length=60)
    age = IntField()
    grade = IntField()

# aa = MatchLog()

db

db_base

from yang.mongoengine_study.common.operation import Operation
from mongoengine.queryset.visitor import Q


class DBBase(object):
    def __init__(self, model):
        self.model = model

    def add(self, data):
        if isinstance(data, dict):
            Operation.add(self.model, **data)

    def update(self, query, data):
        return Operation.update(query, **data)

    def get(self, data):
        return Operation.filter(self.model, **data)

    def object_filter_or(self, key1, value1, key2, value2):
        """高级查询 key1 key2 字段为字符串"""
        # query = Model.objects.filter(Q(age=10) | Q(grade=80))
        a = {key1: value1}
        b = {key2: value2}
        c = Q(**a) | Q(**b)
        query = self.model.objects.filter(c)
        return query

    def get_between(self, key, left, right):
        """key 必须为字段字符串"""
        data = dict()
        data[key + "__gt"] = left
        data[key + "__lt"] = right
        return self.get(data)

    def get_great_than(self, key, value):
        """key 必须为字段字符串"""
        data = dict()
        data[key + "__gt"] = value
        return self.get(data)

    def get_less_than(self, key, value):
        """key 必须为字段字符串"""
        data = dict()
        data[key + "__glt"] = value
        return self.get(data)

    def get_in(self, key, values):
        data = dict()
        data[key + "__in"] = values
        return self.get(data)

    def get_require_fields(self, query, data):
        query = Operation.query_fields(query, **data)
        return query

db_match_log

from yang.mongoengine_study.model.match_log import MatchLog as Model
from yang.mongoengine_study.db.db_base import DBBase
class DBOHHOMatchLog(DBBase):
    def __init__(self):
        super(DBOHHOMatchLog, self).__init__(Model)

    def get_by_message(self, message):
        data = dict()
        data["message"] = message
        return self.get(data)

    def get_by_age_in(self, values, key="age"):
        return self.get_in(key, values)



if __name__ == '__main__':
    instance = DBOHHOMatchLog()
    # data = instance.get_by_message("yang")
    # data = instance.get_between("age", 15, 30)
    # data = instance.object_filter_or("age", 10, "grade", 80)
    # a = {"age": 1}
    # data = instance.get_require_fields(data, a)
    b_list = [10, 20]
    query = instance.get_in("age", b_list)
    for q in query:
        print(q.age, "====", q.grade)

view

match_log

一些测试数据

from yang.mongoengine_study.model.match_log import MatchLog as Model
from yang.mongoengine_study.common.operation import Operation
from mongoengine.queryset.visitor import Q
document_dict1 = {"message": "yang", "name": "帅气", "age": 10, "grade": 100}
document_dict2 = {"message": "yang", "name": "帅气", "age": 20, "grade": 80}
document_dict3 = {"message": "yang", "name": "帅气", "age": 30, "grade": 50}

# Operation.add(Model, **document_dict1)
# Operation.add(Model, **document_dict2)
# Operation.add(Model, **document_dict3)
# query = Model.objects(message="yang", name="帅气")
query = Model.objects(age__in=[10, 20])
query.update(name="dong", message="哈哈哈")
query = Model.objects(age__in=[10, 20])
# query.delete()
# query = query.fields(age=1)
# query = Model.objects(age__gt=15, age__lt=40)
# query = Model.objects(age=10, grade=80) # 多个的话是and关系

# query = Model.objects.filter(Q(age=10) | Q(grade=80)).fields(id=1)
# print(query)
for q in query:
    # print(list(q))
    print(q.age, "-----", q.grade)