Django ORM 操作数据库

一、Django ORM 操作数据库的概念

Django有一个强大的功能是它的对象关系映射Object-Relational Mapper（ORM），它允许你就像使用 SQL 一样去和你的数据库交互。事实上，Django 的 ORM 就是创建 SQL 去查询和操作数据库的一个利用 Python 类去操作数据库的方式。

二、Django ORM 操作数据库的方法

我们的程序涉及到数据库相关操作时，常用的方法：

• 创建数据库，设计表结构和字段
• 使用 MySQLdb 来连接数据库，并编写数据访问层代码
• 业务逻辑层去调用数据访问层执行数据库操作

ORM是什么？：(在django中，根据代码中的类自动生成数据库的表也叫--code first)

ORM：Object Relational Mapping(关系对象映射)

类名对应------》数据库中的表名

类属性对应---------》数据库里的字段

类实例对应---------》数据库表里的一行数据

obj.id  obj.name.....类实例对象的属性

Django orm的优势：

Django的orm操作本质上会根据对接的数据库引擎，翻译成对应的sql语句；所有使用Django开发的项目无需关心程序底层使用的是MySQL、Oracle、sqlite....，如果数据库迁移，只需要更换Django的数据库引擎即可；

2.1、Django连接MySQL

1、创建数据库 （注意设置 数据的字符编码）

由于Django自带的orm是data_first类型的ORM，使用前必须先创建数据库

create database django01 default charset=utf8 collate utf8_general_ci;

2、修改project中的settings.py文件中设置  连接 MySQL数据库（Django默认使用的是sqllite数据库）

DATABASES = {
    'default': {
    'ENGINE': 'django.db.backends.mysql',
    'NAME':'django01',
    'USER': 'root',
    'PASSWORD': '123123',
    'HOST': '127.0.0.1',
    'PORT': '3306',
    }
}

扩展：查看orm操作执行的原生SQL语句，在project中的settings.py文件增加

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console':{
            'level':'DEBUG',
            'class':'logging.StreamHandler',
        },
    },
    'loggers': {
        'django.db.backends': {
            'handlers': ['console'],
            'propagate': True,
            'level':'DEBUG',
        },
    }
}

3、修改project 中的__init__.py 文件设置 Django默认连接MySQL的方式

import pymysql
pymysql.install_as_MySQLdb()

4、settings.py文件注册APP

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'app01.apps.App01Config',
   
]

5、进行数据迁移

5.1、在winds cmd或者Linux shell的项目的manage.py目录下执行

python manage.py makemigrations  # 将python类迁移为sql语句，并保存在 makemigrations 文件中

python manage.py migrate # 执行迁移的sql语句，将数据写入数据库

扩展：修改表之后常见报错

这个报错：因为表创建好之后，新增字段没有设置默认值，或者原来表中字段设置了不能为空参数，修改后的表结构和目前的数据冲突导致；

6、modles.py创建表

6.1、表的基本操作

from django.db import models

class UserInfo(models.Model):  # 必须继承models.Model
    # 不写则，django默认创建ID列，自增，主键
    # 用户名列，字符串类型，指定长度
    username = models.CharField(max_length=32)
    password = models.CharField(max_length=64)

6.1.1、常用字段

AutoField		一个能够根据可用ID自增的 IntegerField
BooleanField		一个真／假（true/false）字段
CharField	(max_length)	一个字符串字段，适用于中小长度的字符串。对于长段的文字，请使用 TextField
CommaSeparatedIntegerField	(max_length)	一个用逗号分隔开的整数字段
DateField	([auto_now], [auto_now_add])	日期字段
DateTimeField		时间日期字段,接受跟 DateField 一样的额外选项
EmailField		一个能检查值是否是有效的电子邮件地址的 CharField
FileField	(upload_to)	一个文件上传字段
FilePathField	(path,[match],[recursive])	一个拥有若干可选项的字段，选项被限定为文件系统中某个目录下的文件名
FloatField	(max_digits,decimal_places)	一个浮点数，对应Python中的 float 实例
ImageField	(upload_to, [height_field] ,[width_field])	像 FileField 一样，只不过要验证上传的对象是一个有效的图片。
IntegerField		一个整数。
IPAddressField		一个IP地址，以字符串格式表示（例如： "24.124.1.30" ）。
NullBooleanField		就像一个 BooleanField ，但它支持 None /Null 。
PhoneNumberField		它是一个 CharField ，并且会检查值是否是一个合法的美式电话格式
PositiveIntegerField		和 IntegerField 类似，但必须是正值。
PositiveSmallIntegerField		与 PositiveIntegerField 类似，但只允许小于一定值的值,最大值取决于数据库.
SlugField		嵌条 就是一段内容的简短标签，这段内容只能包含字母、数字、下 划线或连字符。通常用于URL中
SmallIntegerField		和 IntegerField 类似，但是只允许在一个数据库相关的范围内的数值（通常是-32,768到 +32,767）
TextField		一个不限长度的文字字段
TimeField		时分秒的时间显示。它接受的可指定参数与 DateField 和 DateTimeField 相同。
URLField		用来存储URL的字段。
USStateField		美国州名称缩写，两个字母。
XMLField	(schema_path)	它就是一个 TextField ，只不过要检查值是匹配指定schema的合法XML。

通用字段参数列表（所有的字段类型都可以使用下面的参数，所有的都是可选的。）

参数名	意义
null	如果设置为 True 的话，Django将在数据库中存储空值为 NULL 。默认为 False 。
blank	如果是 True ，该字段允许留空，默认为 False 。
choices	一个包含双元素元组的可迭代的对象，用于给字段提供选项。
db_column	当前字段在数据库中对应的列的名字。
db_index	如果为 True ，Django会在创建表格（比如运行 manage.py syncdb ）时对这一列创建数据库索引。
default	字段的默认值
editable	如果为 False ，这个字段在管理界面或表单里将不能编辑。默认为 True 。
help_text	在管理界面表单对象里显示在字段下面的额外帮助文本。
primary_key	如果为 True ，这个字段就会成为模型的主键。
radio_admin	默认地，对于 ForeignKey 或者拥有 choices 设置的字段，Django管理界面会使用列表选择框（<select>）。如果 radio_admin 设置为 True 的话，Django就会使用单选按钮界面。
unique	如果是 True ，这个字段的值在整个表中必须是唯一的。
unique_for_date	把它的值设成一个 DataField 或者 DateTimeField 的字段的名称，可以确保字段在这个日期内不会出现重复值。
unique_for_month	和 unique_for_date 类似，只是要求字段在指定字段的月份内唯一。
unique_for_year	和 unique_for_date 及 unique_for_month 类似，只是时间范围变成了一年。
verbose_name	除 ForeignKey 、 ManyToManyField 和 OneToOneField 之外的字段都接受一个详细名称作为第一个位置参数。

常用字段与参数表

    AutoField(Field)
        - int自增列，必须填入参数 primary_key=True

    BigAutoField(AutoField)
        - bigint自增列，必须填入参数 primary_key=True

        注：当model中如果没有自增列，则自动会创建一个列名为id的列
        from django.db import models

        class UserInfo(models.Model):
            # 自动创建一个列名为id的且为自增的整数列
            username = models.CharField(max_length=32)

        class Group(models.Model):
            # 自定义自增列
            nid = models.AutoField(primary_key=True)
            name = models.CharField(max_length=32)

    SmallIntegerField(IntegerField):
        - 小整数 -32768 ～ 32767

    PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正小整数 0 ～ 32767
    IntegerField(Field)
        - 整数列(有符号的) -2147483648 ～ 2147483647

    PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正整数 0 ～ 2147483647

    BigIntegerField(IntegerField):
        - 长整型(有符号的) -9223372036854775808 ～ 9223372036854775807

    BooleanField(Field)
        - 布尔值类型

    NullBooleanField(Field):
        - 可以为空的布尔值

    CharField(Field)
        - 字符类型
        - 必须提供max_length参数， max_length表示字符长度

    TextField(Field)
        - 文本类型

    EmailField(CharField)：
        - 字符串类型，Django Admin以及ModelForm中提供验证机制

    IPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 IPV4 机制

    GenericIPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 Ipv4和Ipv6
        - 参数：
            protocol，用于指定Ipv4或Ipv6， 'both',"ipv4","ipv6"
            unpack_ipv4， 如果指定为True，则输入::ffff:192.0.2.1时候，可解析为192.0.2.1，开启此功能，需要protocol="both"

    URLField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证 URL

    SlugField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证支持 字母、数字、下划线、连接符（减号）

    CommaSeparatedIntegerField(CharField)
        - 字符串类型，格式必须为逗号分割的数字

    UUIDField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供对UUID格式的验证

    FilePathField(Field)
        - 字符串，Django Admin以及ModelForm中提供读取文件夹下文件的功能
        - 参数：
                path,                      文件夹路径
                match=None,                正则匹配
                recursive=False,           递归下面的文件夹
                allow_files=True,          允许文件
                allow_folders=False,       允许文件夹

    FileField(Field)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage

    ImageField(FileField)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage
            width_field=None,   上传图片的高度保存的数据库字段名（字符串）
            height_field=None   上传图片的宽度保存的数据库字段名（字符串）

    DateTimeField(DateField)
        - 日期+时间格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]

    DateField(DateTimeCheckMixin, Field)
        - 日期格式      YYYY-MM-DD

    TimeField(DateTimeCheckMixin, Field)
        - 时间格式      HH:MM[:ss[.uuuuuu]]

    DurationField(Field)
        - 长整数，时间间隔，数据库中按照bigint存储，ORM中获取的值为datetime.timedelta类型

    FloatField(Field)
        - 浮点型

    DecimalField(Field)
        - 10进制小数
        - 参数：
            max_digits，小数总长度
            decimal_places，小数位长度

    BinaryField(Field)
        - 二进制类型

6.2、字段操作

增

models.Tb1.objects.create(c1='xx', c2='oo') #增加一条数据，可以接受字典类型数据 **kwargs
obj = models.Tb1(c1='xx', c2='oo')

dic = {'user':'yangmv','pwd':'123456'}
models.UserInfo.objects.create(**dic)

obj.save()

查

models.Tb1.objects.get(id=123) # 获取单条数据，不存在则报错（不建议）
models.Tb1.objects.get(user='yangmv')

models.Tb1.objects.all() # 获取全部
models.Tb1.objects.all().values('user')    #只取user列
models.Tb1.objects.all().values_list('id','user')    #取出id和user列，并生成一个列表

models.Tb1.objects.filter(name='seven') # 获取指定条件的数据
models.Tb1.objects.exclude(name='seven') # 获取指定条件的数据

删

models.Tb1.objects.filter(name='seven').delete() # 删除指定条件的数据

改

models.Tb1.objects.filter(name='seven').update(gender='0') # 将指定条件的数据更新，均支持 **kwargs
obj = models.Tb1.objects.get(id=1)
obj.c1 = '35445'
obj.save() # 修改单条数据

6.3、查询操作

获取个数

    models.Tb1.objects.filter(name='seven').count()

大于，小于

    models.Tb1.objects.filter(id__gt=1) # 获取id大于1的值
    models.Tb1.objects.filter(id__gte=1) # 获取id大于等于1的值
    models.Tb1.objects.filter(id__lt=10) # 获取id小于10的值
    models.Tb1.objects.filter(id__lte=10) # 获取id小于10的值
    models.Tb1.objects.filter(id__lt=10, id__gt=1) # 获取id大于1 且 小于10的值

in

    models.Tb1.objects.filter(id__in=[11, 22, 33]) # 获取id等于11、22、33的数据
    models.Tb1.objects.exclude(id__in=[11, 22, 33]) # not in

isnull

    Entry.objects.filter(pub_date__isnull=True)

contains

    models.Tb1.objects.filter(name__contains="ven")
    models.Tb1.objects.filter(name__icontains="ven") # icontains大小写不敏感
    models.Tb1.objects.exclude(name__icontains="ven")

range

    models.Tb1.objects.filter(id__range=[1, 2]) # 范围bettwen and

order by

    models.Tb1.objects.filter(name='seven').order_by('id') # asc
    models.Tb1.objects.filter(name='seven').order_by('-id') # desc

limit 、offset

    models.Tb1.objects.all()[10:20]

regex正则匹配，iregex 不区分大小写

    Entry.objects.get(title__regex=r'^(An?|The) +')
    Entry.objects.get(title__iregex=r'^(an?|the) +')

执行原生SQL

    from django.db import connection, connections 
    cursor = connection.cursor() 

    django的settings中的db配置 ' default'，指定数据库

    cursor.execute("""SELECT * from auth_user where id = %s""", [1])
    row = cursor.fetchone()

    2 .extra

    Entry.objects.extra(select={'new_id': "select id from tb where id > %s"}, select_params=(1,), order_by=['-nid'])

    3 . raw

    name_map = {'a':'A','b':'B'}
    models.UserInfo.objects.raw('select * from xxxx',translations=name_map)

6.4、自定义字段

class FixedCharField(models.Field):
    """
    自定义的char类型的字段类
    """
    def __init__(self, max_length, *args, **kwargs):
        self.max_length = max_length
        super(FixedCharField, self).__init__(max_length=max_length, *args, **kwargs)

    def db_type(self, connection):
        """
        限定生成数据库表的字段类型为char，长度为max_length指定的值
        """
        return 'char(%s)' % self.max_length


class Class(models.Model):
    id = models.AutoField(primary_key=True)
    title = models.CharField(max_length=25)
    # 使用自定义的char类型的字段
    cname = FixedCharField(max_length=25)

7、补充

7.1 ORM字段参数

null：用于表示某个字段可以为空。

unique：如果设置为unique=True 则该字段在此表中必须是唯一的 。

db_index：如果db_index=True 则代表着为此字段设置索引。

default：为该字段设置默认值。

DateField 和 DateTimeField

auto_now_add：配置auto_now_add=True，创建数据记录的时候会把当前时间添加到数据库。

auto_now：配置上auto_now=True，每次更新数据记录的时候会更新该字段。

    null                数据库中字段是否可以为空
    db_column           数据库中字段的列名
    db_tablespace
    default             数据库中字段的默认值
    primary_key         数据库中字段是否为主键
    db_index            数据库中字段是否可以建立索引
    unique              数据库中字段是否可以建立唯一索引
    unique_for_date     数据库中字段【日期】部分是否可以建立唯一索引
    unique_for_month    数据库中字段【月】部分是否可以建立唯一索引
    unique_for_year     数据库中字段【年】部分是否可以建立唯一索引

    verbose_name        Admin中显示的字段名称
    blank               Admin中是否允许用户输入为空
    editable            Admin中是否可以编辑
    help_text           Admin中该字段的提示信息
    choices             Admin中显示选择框的内容，用不变动的数据放在内存中从而避免跨表操作
                        如：gf = models.IntegerField(choices=[(0, '何穗'),(1, '大表姐'),],default=1)

    error_messages      自定义错误信息（字典类型），从而定制想要显示的错误信息；
                        字典健：null, blank, invalid, invalid_choice, unique, and unique_for_date
                        如：{'null': "不能为空.", 'invalid': '格式错误'}

    validators          自定义错误验证（列表类型），从而定制想要的验证规则
                        from django.core.validators import RegexValidator
                        from django.core.validators import EmailValidator,URLValidator,DecimalValidator,\
                        MaxLengthValidator,MinLengthValidator,MaxValueValidator,MinValueValidator
                        如：
                            test = models.CharField(
                                max_length=32,
                                error_messages={
                                    'c1': '优先错信息1',
                                    'c2': '优先错信息2',
                                    'c3': '优先错信息3',
                                },
                                validators=[
                                    RegexValidator(regex='root_\d+', message='错误了', code='c1'),
                                    RegexValidator(regex='root_112233\d+', message='又错误了', code='c2'),
                                    EmailValidator(message='又错误了', code='c3'), ]
                            )

7.3 关系字段

ForeignKey

外键类型在ORM中用来表示外键关联关系，一般把ForeignKey字段设置在 '一对多'中'多'的一方。

ForeignKey：可以和其他表做关联关系同时也可以和自身做关联关系。

to：设置要关联的表

to_field：设置要关联的表的字段

related_name：反向操作时，使用的字段名，用于代替原反向查询时的'表名_set'。

例如：

class Classes(models.Model):
    name = models.CharField(max_length=32)

class Student(models.Model):
    name = models.CharField(max_length=32)
    theclass = models.ForeignKey(to="Classes")

当我们要查询某个班级关联的所有学生（反向查询）时，我们会这么写：

models.Classes.objects.first().student_set.all()

当我们在ForeignKey字段中添加了参数 related_name 后，

class Student(models.Model):
    name = models.CharField(max_length=32)
    theclass = models.ForeignKey(to="Classes", related_name="students")

当我们要查询某个班级关联的所有学生（反向查询）时，我们会这么写：

models.Classes.objects.first().students.all()

related_query_name：反向查询操作时，使用的连接前缀，用于替换表名。

on_delete：当删除关联表中的数据时，当前表与其关联的行的行为。

　　models.CASCADE
　　删除关联数据，与之关联也删除


　　models.DO_NOTHING
　　删除关联数据，引发错误IntegrityError


　　models.PROTECT
　　删除关联数据，引发错误ProtectedError


　　models.SET_NULL
　　删除关联数据，与之关联的值设置为null（前提FK字段需要设置为可空）


　　models.SET_DEFAULT
　　删除关联数据，与之关联的值设置为默认值（前提FK字段需要设置默认值）


　　models.SET
    删除关联数据，
　　a. 与之关联的值设置为指定值，设置：models.SET(值)
　　b. 与之关联的值设置为可执行对象的返回值，设置：models.SET(可执行对象)

def func():
    return 10

class MyModel(models.Model):
    user = models.ForeignKey(
        to="User",
        to_field="id"，
        on_delete=models.SET(func)
    )

db_constraint：是否在数据库中创建外键约束，默认为True。

OneToOneField

一对一字段。

通常一对一字段用来扩展已有字段。

一对一的关联关系多用在当一张表的不同字段查询频次差距过大的情况下，将本可以存储在一张表的字段拆开放置在两张表中，然后将两张表建立一对一的关联关系。

class Author(models.Model):
    name = models.CharField(max_length=32)
    info = models.OneToOneField(to='AuthorInfo')
    
class AuthorInfo(models.Model):
    phone = models.CharField(max_length=11)
    email = models.EmailField()

to：设置要关联的表。

to_field：设置要关联的字段。

on_delete：同ForeignKey字段。

ManyToManyField

用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系

to：设置要关联的表

related_name：同ForeignKey字段。

related_query_name：同ForeignKey字段。

symmetrical：仅用于多对多自关联时，指定内部是否创建反向操作的字段。默认为True。

举个例子：

class Person(models.Model):
    name = models.CharField(max_length=16)
    friends = models.ManyToManyField("self")

此时，person对象就没有person_set属性。

class Person(models.Model):
    name = models.CharField(max_length=16)
    friends = models.ManyToManyField("self", symmetrical=False)

此时，person对象现在就可以使用person_set属性进行反向查询。

through：

在使用ManyToManyField字段时，Django将自动生成一张表来管理多对多的关联关系。

但我们也可以手动创建第三张表来管理多对多关系，此时就需要通过through来指定第三张表的表名。

through_fields：设置关联的字段。

db_table：默认创建第三张表时，数据库中表的名称。

7.4 多对多关联关系的三种方式

方式一：自行创建第三张表

class Book(models.Model):
    title = models.CharField(max_length=32, verbose_name="书名")

class Author(models.Model):
    name = models.CharField(max_length=32, verbose_name="作者姓名")

# 自己创建第三张表，分别通过外键关联书和作者
class Author2Book(models.Model):
    author = models.ForeignKey(to="Author")
    book = models.ForeignKey(to="Book")

    class Meta:
        unique_together = ("author", "book")

方式二：通过ManyToManyField自动创建第三张表

class Book(models.Model):
    title = models.CharField(max_length=32, verbose_name="书名")

# 通过ORM自带的ManyToManyField自动创建第三张表
class Author(models.Model):
    name = models.CharField(max_length=32, verbose_name="作者姓名")
    books = models.ManyToManyField(to="Book", related_name="authors")

方式三：设置ManyTomanyField并指定自行创建的第三张表

class Book(models.Model):
    title = models.CharField(max_length=32, verbose_name="书名")

# 自己创建第三张表，并通过ManyToManyField指定关联
class Author(models.Model):
    name = models.CharField(max_length=32, verbose_name="作者姓名")
    books = models.ManyToManyField(to="Book", through="Author2Book", through_fields=("author", "book"))
    # through_fields接受一个2元组（'field1'，'field2'）：
    # 其中field1是定义ManyToManyField的模型外键的名（author），field2是关联目标模型（book）的外键名。

class Author2Book(models.Model):
    author = models.ForeignKey(to="Author")
    book = models.ForeignKey(to="Book")

    class Meta:
        unique_together = ("author", "book")

注意：

当我们需要在第三张关系表中存储额外的字段时，就要使用第三种方式。但是当我们使用第三种方式创建多对多关联关系时，就无法使用set、add、remove、clear方法来管理多对多的关系了，需要通过第三张表的model来管理多对多关系。

7.5 元信息

ORM对应的类里面包含另一个Meta类，而Meta类封装了一些数据库的信息。主要字段如下:

db_table

ORM在数据库中的表名默认是 app_类名，可以通过db_table可以重写表名。

index_together：联合索引。

unique_together：联合唯一索引。

ordering：指定默认按什么字段排序。

只有设置了该属性，我们查询到的结果才可以被reverse()。

    class UserInfo(models.Model):
        nid = models.AutoField(primary_key=True)
        username = models.CharField(max_length=32)

        class Meta:
            # 数据库中生成的表名称 默认 app名称 + 下划线 + 类名
            db_table = "table_name"

            # 联合索引
            index_together = [
                ("pub_date", "deadline"),
            ]

            # 联合唯一索引
            unique_together = (("driver", "restaurant"),)
            
            ordering = ('name',)
            
            # admin中显示的表名称
            verbose_name='哈哈'

            # verbose_name加s
            verbose_name_plural=verbose_name