O resumo mais abrangente do conhecimento chave do Python que você já viu!

Este é um resumo do foco do Python do desenvolvedor @ Twenty One no SegmentFault. Como muitas coisas foram resumidas, o comprimento é um pouco longo. Isso é o que o autor resumiu por um longo tempo. É altamente recomendável marcar e ler devagar ~

Py2 VS Py3

Diferenças entre Py2 e Py3

• imprimir se torna uma função, python2 é uma palavra-chave

• Não há mais um objeto unicode, o str padrão é unicode

• flutuador de retorno da divisão python3

• sem tipo longo

• xrange não existe, intervalo substitui xrange

• Chinês pode ser usado para definir nomes de funções e nomes de variáveis

• Descompactação avançada e *descompactação

• A variável após o parâmetro de palavra-chave qualificada * deve adicionar nome=valor

• levantar de

• iteritems removidos tornam-se items()

• rendimento de sub-geradores de cadeias

• asyncio, async/await co-rotina nativa suporta programação assíncrona

• 新增 enum, mock, ipaddress, concurrent.futures, asyncio urllib, selector

  • Não é possível comparar entre diferentes classes de enumeração

  • Somente comparações de igualdade podem ser feitas entre a mesma classe de enumeração

  • O uso de classes de enumeração (o número começa em 1 por padrão)

  • Para evitar a ocorrência do mesmo valor de enumeração na classe de enumeração, você pode decorar a classe de enumeração com @unique

#枚举的注意事项
from enum import Enum

class COLOR(Enum):
    YELLOW=1
#YELLOW=2#会报错
    GREEN=1#不会报错,GREEN可以看作是YELLOW的别名
    BLACK=3
    RED=4
print(COLOR.GREEN)#COLOR.YELLOW,还是会打印出YELLOW
for i in COLOR:#遍历一下COLOR并不会有GREEN
    print(i)
#COLOR.YELLOW\nCOLOR.BLACK\nCOLOR.RED\n怎么把别名遍历出来
for i in COLOR.__members__.items():
    print(i)
# output:('YELLOW', <COLOR.YELLOW: 1>)\n('GREEN', <COLOR.YELLOW: 1>)\n('BLACK', <COLOR.BLACK: 3>)\n('RED', <COLOR.RED: 4>)
for i in COLOR.__members__:
    print(i)
# output:YELLOW\nGREEN\nBLACK\nRED

#枚举转换
#最好在数据库存取使用枚举的数值而不是使用标签名字字符串
#在代码里面使用枚举类
a=1
print(COLOR(a))# output:COLOR.YELLOW

ferramenta de conversão py2/3

• seis módulos: um módulo compatível com pyton2 e pyton3

• Ferramenta 2to3: altere a versão da sintaxe do código

• __future__: use a próxima versão da função

Biblioteca de classes relacionada

biblioteca comum

• Deve conhecer as coleções https://segmentfault.com/a/1190000017385799

• Operação de classificação Python e módulo heapq https://segmentfault.com/a/1190000017383322

• Módulo itertools método super prático https://segmentfault.com/a/1190000017416590

Bibliotecas menos usadas, mas importantes

• dis (análise de bytecode de código)

• inspecionar (estado do gerador)

• cProfile (análise de desempenho)

• bissetar (manter a lista ordenada)

• fnmatch

• fnmatch(string,"*.txt") # não diferencia maiúsculas de minúsculas na vitória

• fnmatch depende do sistema

• fnmatchcase diferencia maiúsculas de minúsculas

• timeit (tempo de execução do código)

def isLen(strString):
    #还是应该使用三元表达式，更快
    return True if len(strString)>6 else False

def isLen1(strString):
    #这里注意false和true的位置
    return [False,True][len(strString)>6]
import timeit
print(timeit.timeit('isLen1("5fsdfsdfsaf")',setup="from __main__ import isLen1"))

print(timeit.timeit('isLen("5fsdfsdfsaf")',setup="from __main__ import isLen"))

• contextlib

  • @contextlib.contextmanager transforma uma função geradora em um gerenciador de contexto

• tipos (contém todos os tipos de objetos de tipo definidos pelo interpretador padrão e pode modificar a função do gerador para o modo assíncrono)

import types
types.coroutine #相当于实现了__await__

• html (implemente o escape de html)

import html
html.escape("<h1>I'm Jim</h1>") # output:'&lt;h1&gt;I&#x27;m Jim&lt;/h1&gt;'
html.unescape('&lt;h1&gt;I&#x27;m Jim&lt;/h1&gt;') # <h1>I'm Jim</h1>

• mock (resolver dependências de teste)

• simultâneo (criar pool de processos e pool de threads)

from concurrent.futures import ThreadPoolExecutor

pool = ThreadPoolExecutor()
task = pool.submit(函数名，（参数）) #此方法不会阻塞，会立即返回
task.done()#查看任务执行是否完成
task.result()#阻塞的方法，查看任务返回值
task.cancel()#取消未执行的任务，返回True或False,取消成功返回True
task.add_done_callback()#回调函数
task.running()#是否正在执行     task就是一个Future对象

for data in pool.map(函数，参数列表):#返回已经完成的任务结果列表，根据参数顺序执行
    print(返回任务完成得执行结果data)

from concurrent.futures import as_completed
as_completed(任务列表)#返回已经完成的任务列表，完成一个执行一个

wait(任务列表,return_when=条件)#根据条件进行阻塞主线程，有四个条件

• seletor (seleção de encapsulamento, programação io de multiplexação de usuário)

• assíncrono

future=asyncio.ensure_future(协程)  等于后面的方式  future=loop.create_task(协程)
future.add_done_callback()添加一个完成后的回调函数
loop.run_until_complete(future)
future.result()查看写成返回结果

asyncio.wait()接受一个可迭代的协程对象
asynicio.gather(*可迭代对象,*可迭代对象）    两者结果相同，但gather可以批量取消，gather对象.cancel()

一个线程中只有一个loop

在loop.stop时一定要loop.run_forever()否则会报错
loop.run_forever()可以执行非协程
最后执行finally模块中 loop.close()

asyncio.Task.all_tasks()拿到所有任务 然后依次迭代并使用任务.cancel()取消

偏函数partial(函数，参数)把函数包装成另一个函数名  其参数必须放在定义函数的前面

loop.call_soon(函数,参数)
call_soon_threadsafe()线程安全    
loop.call_later(时间,函数,参数)
在同一代码块中call_soon优先执行，然后多个later根据时间的升序进行执行

如果非要运行有阻塞的代码
使用loop.run_in_executor(executor,函数，参数)包装成一个多线程，然后放入到一个task列表中，通过wait(task列表)来运行

通过asyncio实现http
reader,writer=await asyncio.open_connection(host,port)
writer.writer()发送请求
async for data in reader:
    data=data.decode("utf-8")
    list.append(data)
然后list中存储的就是html

as_completed(tasks)完成一个返回一个,返回的是一个可迭代对象    

协程锁
async with Lock():

Python Avançado

• Comunicação entre processos:

  • Manager (muitas estruturas de dados incorporadas, que podem realizar o compartilhamento de memória entre vários processos)

from multiprocessing import Manager,Process
def add_data(p_dict, key, value):
    p_dict[key] = value

if __name__ == "__main__":
    progress_dict = Manager().dict()
    from queue import PriorityQueue

    first_progress = Process(target=add_data, args=(progress_dict, "bobby1", 22))
    second_progress = Process(target=add_data, args=(progress_dict, "bobby2", 23))

    first_progress.start()
    second_progress.start()
    first_progress.join()
    second_progress.join()

    print(progress_dict)

• Pipe (para dois processos)

from multiprocessing import Pipe,Process
#pipe的性能高于queue
def producer(pipe):
    pipe.send("bobby")

def consumer(pipe):
    print(pipe.recv())

if __name__ == "__main__":
    recevie_pipe, send_pipe = Pipe()
    #pipe只能适用于两个进程
    my_producer= Process(target=producer, args=(send_pipe, ))
    my_consumer = Process(target=consumer, args=(recevie_pipe,))

    my_producer.start()
    my_consumer.start()
    my_producer.join()
    my_consumer.join()

• Queue (não pode ser usado no pool de processos, a comunicação entre pools de processos precisa usar Manager().Queue())

from multiprocessing import Queue,Process
def producer(queue):
    queue.put("a")
    time.sleep(2)

def consumer(queue):
    time.sleep(2)
    data = queue.get()
    print(data)

if __name__ == "__main__":
    queue = Queue(10)
    my_producer = Process(target=producer, args=(queue,))
    my_consumer = Process(target=consumer, args=(queue,))
    my_producer.start()
    my_consumer.start()
    my_producer.join()
    my_consumer.join()

• pool de processos

def producer(queue):
    queue.put("a")
    time.sleep(2)

def consumer(queue):
    time.sleep(2)
    data = queue.get()
    print(data)

if __name__ == "__main__":
    queue = Manager().Queue(10)
    pool = Pool(2)

    pool.apply_async(producer, args=(queue,))
    pool.apply_async(consumer, args=(queue,))

    pool.close()
    pool.join()

• Vários métodos comuns do módulo sys

  • lista de parâmetros de linha de comando argv, o primeiro é o caminho do próprio programa

  • path retorna o caminho de pesquisa para módulos

  • modules.keys() retorna uma lista de todos os módulos que foram importados

  • exit(0) sai do programa

• a em s ou b em s ou c em s简写

  • Use o método any: all() retorna True para qualquer objeto iterável que esteja vazio

# 方法一
True in [i in s for i in [a,b,c]]
# 方法二
any(i in s for i in [a,b,c])
# 方法三
list(filter(lambda x:x in s,[a,b,c]))

• uso de coleção de conjuntos

  • {1,2}.issubset({1,2,3})#Determine se é um subconjunto

  • {1,2,3}.superset({1,2})

  • {}.isdisjoint({})#Julga se a interseção de dois conjuntos está vazia, se for um conjunto vazio, é Verdadeiro

• Correspondência chinesa no código

  • [u4E00-u9FA5] Corresponde ao intervalo de texto chinês [一辥]

• Exibir o formato de codificação padrão do sistema

import sys
sys.getdefaultencoding()    # setdefaultencodeing()设置系统编码方式

• getattr VS getattribute

class A(dict):
    def __getattr__(self,value):#当访问属性不存在的时候返回
        return 2
    def __getattribute__(self,item):#屏蔽所有的元素访问
        return item

• As variáveis ​​de classe não serão armazenadas na instância __dict__, elas existirão apenas no __dict__ da classe

• globais/locais (códigos podem ser manipulados disfarçadamente)

  • Globals salva todos os atributos e valores variáveis ​​no módulo atual

  • Todos os atributos e valores variáveis ​​no ambiente atual são salvos em locais

• Mecanismo de análise para nomes de variáveis ​​python (LEGB)

  • Escopo local (local)

  • Incluindo locais nos quais o escopo atual está incorporado

  • Escopo global/módulo (global)

  • Escopo embutido (embutido)

• Realize o agrupamento de três grupos de 1-100

print([[x for x in range(1,101)][i:i+3] for i in range(0,100,3)])

• O que são metaclasses?

  • Isso é criar uma classe de uma classe. Ao criar uma classe, você só precisa definir metaclass=metaclass, e a metaclasse precisa herdar o tipo em vez do objeto, porque o tipo é a metaclasse

type.__bases__  #(<class 'object'>,)
object.__bases__    #()
type(object)    #<class 'type'>

class Yuan(type):
        def __new__(cls,name,base,attr,*args,**kwargs):
            return type(name,base,attr,*args,**kwargs)
    class MyClass(metaclass=Yuan):
        pass

• O que é tipagem de pato (isto é: polimorfismo)?

  • O Python não julgará o tipo de parâmetro por padrão no processo de uso do parâmetro de entrada, desde que o parâmetro atenda às condições de execução, ele pode ser executado

• cópia profunda e cópia rasa

  • Conteúdo da cópia profunda, endereço da cópia rasa (aumentar a contagem de referências)

  • O módulo de cópia realiza a cópia divina

• teste de unidade

  • A classe de teste geral herda o TestCase sob o módulo unittest

  • teste de atalho do módulo pytest (método começa com test_/arquivo de teste começa com test_/classe de teste começa com Test e não pode ter um método init)

  • cobertura de teste de estatísticas de cobertura

class MyTest(unittest.TestCase):
    def tearDown(self):# 每个测试用例执行前执行
        print('本方法开始测试了')

    def setUp(self):# 每个测试用例执行之前做操作
        print('本方法测试结束')

    @classmethod
    def tearDownClass(self):# 必须使用 @ classmethod装饰器, 所有test运行完后运行一次
        print('开始测试')
    @classmethod
    def setUpClass(self):# 必须使用@classmethod 装饰器,所有test运行前运行一次
        print('结束测试')

    def test_a_run(self):
        self.assertEqual(1, 1)  # 测试用例

• gil liberará gil de acordo com o número de linhas de bytecode executadas e a fatia de tempo, e gil liberará ativamente ao encontrar operações io

• O que é um patch de macaco?

  • Monkey patch, substitua a sintaxe de bloqueio em tempo de execução e altere-a para um método sem bloqueio

• O que é Introspecção?

  • A capacidade de determinar o tipo de um objeto em tempo de execução, id, tipo, isinstance

• O python é passado por valor ou por referência?

  • Nenhum dos dois, python é um parâmetro compartilhado e o parâmetro padrão será executado apenas uma vez durante a execução

• A diferença entre else e finalmente em try-except-else-finally

  • else executa quando nenhuma exceção ocorre, finalmente executa independentemente de ocorrer uma exceção

  • except pode capturar várias exceções ao mesmo tempo, mas geralmente para lidar com diferentes exceções de maneira diferente, nós as capturamos e processamos em lotes

• Bloqueio do interpretador global GIL

  • Apenas um thread pode executar ao mesmo tempo, as características do CPython (IPython), outros interpretadores não existem

  • uso intensivo de CPU: multiprocesso + pool de processos

  • io-intensive: multithreading/co-rotinas

• O que é Cython

  • Interpretar python na ferramenta de código C

• Geradores e Iteradores

  • Objetos que implementam os métodos __next__ e __iter__ são iteradores

  • Objetos iteráveis ​​só precisam implementar o método __iter__

  • Funções de gerador usando expressões de gerador ou rendimento (um gerador é um tipo especial de iterador)

• O que é uma corrotina

  • Um método multitarefa mais leve do que threads

  • Método para realizar

  • colheita

  • async-awiat

• estrutura subjacente do ditado

  • Para oferecer suporte à pesquisa rápida, uma tabela de hash é usada como estrutura subjacente

  • A complexidade média do tempo de pesquisa de uma tabela hash é O(1)

  • O interpretador CPython usa sondagem quadrática para resolver colisões de hash

• Expansão de hash e resolução de conflitos de hash

  • Replicação cíclica para um novo espaço para expansão de capacidade

  • Resolução de conflitos:

  • método de ligação

  • Detecção secundária (método de endereçamento aberto): usa python

for gevent import monkey
monkey.patch_all()  #将代码中所有的阻塞方法都进行修改，可以指定具体要修改的方法

• Determine se é um gerador ou uma corrotina

co_flags = func.__code__.co_flags

# 检查是否是协程
if co_flags & 0x180:
    return func

# 检查是否是生成器
if co_flags & 0x20:
    return func

• Problemas resolvidos de Fibonacci e variações

#一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。
#请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？
#方式一：
fib = lambda n: n if n <= 2 else fib(n - 1) + fib(n - 2)
#方式二：
def fib(n):
    a, b = 0, 1
    for _ in range(n):
        a, b = b, a + b
    return b

#一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。
fib = lambda n: n if n < 2 else 2 * fib(n - 1)

• Obtenha as variáveis ​​de ambiente definidas pelo computador

import os
os.getenv(env_name,None)#获取环境变量如果不存在为None

• mecanismo de coleta de lixo

  • contagem de referência

  • marcar claro

  • reciclagem geracional

#查看分代回收触发
import gc
gc.get_threshold()  #output:(700, 10, 10)

• True e False são completamente equivalentes a 1 e 0 no código e podem ser calculados diretamente com números, inf significa infinito

• C10M/C10K

  • C10M: CPU de 8 núcleos, memória de 64 G, mantém 10 milhões de conexões simultâneas em uma rede de 10 Gbps

  • C10K: CPU de 1 GHz, memória de 2 G, 10.000 clientes em um ambiente de rede de 1 gbps para fornecer serviços de FTP

• A diferença entre rendimento de e rendimento:

  • yield from é seguido por um objeto iterável e não há limite após yield

  • GeneratorExit dispara quando o gerador para

• Vários usos de sublinhado único

  • Ao definir uma variável, ela é representada como uma variável privada

  • Ao descompactar, significa descartar dados inúteis

  • Representa o último resultado da execução do código no modo interativo

  • Pode fazer emenda digital (111_222_333)

• Use break não será executado mais

• Decimal para binário

def conver_bin(num):
    if num == 0:
        return num
    re = []
    while num:
        num, rem = divmod(num,2)
        re.append(str(rem))
    return "".join(reversed(re))
  conver_bin(10)

• list1 = ['A', 'B', 'C', 'D'] Como obter uma nova lista A=[], B=[], C=[], D=[] com o nome dos elementos no lista

list1 = ['A', 'B', 'C', 'D']

# 方法一
for i in list1:
    globals()[i] = []   # 可以用于实现python版反射

# 方法二
for i in list1:
    exec(f'{i} = []')   # exec执行字符串语句

• memoryview e bytearray não são comumente usados, basta ver o registro

# bytearray是可变的，bytes是不可变的,memoryview不会产生新切片和对象
a = 'aaaaaa'
ma = memoryview(a)
ma.readonly  # 只读的memoryview
mb = ma[:2]  # 不会产生新的字符串

a = bytearray('aaaaaa')
ma = memoryview(a)
ma.readonly  # 可写的memoryview
mb = ma[:2]      # 不会会产生新的bytearray
mb[:2] = 'bb'    # 对mb的改动就是对ma的改动

• Tipo de reticências

# 代码中出现...省略号的现象就是一个Ellipsis对象
L = [1,2,3]
L.append(L)
print(L)    # output:[1,2,3,[…]]

• cálculo preguiçoso preguiçoso

class lazy(object):
    def __init__(self, func):
        self.func = func

    def __get__(self, instance, cls):
        val = self.func(instance)    #其相当于执行的area(c),c为下面的Circle对象
        setattr(instance, self.func.__name__, val)
        return val`

class Circle(object):
    def __init__(self, radius):
        self.radius = radius

    @lazy
    def area(self):
        print('evalute')
        return 3.14 * self.radius ** 2

• Atravesse arquivos, passe em uma pasta e imprima os caminhos de todos os arquivos nela (recursivamente)

all_files = []    
def getAllFiles(directory_path):
    import os                                       
    for sChild in os.listdir(directory_path):                
        sChildPath = os.path.join(directory_path,sChild)
        if os.path.isdir(sChildPath):
            getAllFiles(sChildPath)
        else:
            all_files.append(sChildPath)
    return all_files

• Quando o arquivo é armazenado, o processamento do nome do arquivo

#secure_filename将字符串转化为安全的文件名
from werkzeug import secure_filename
secure_filename("My cool movie.mov") # output:My_cool_movie.mov
secure_filename("../../../etc/passwd") # output:etc_passwd
secure_filename(u'i contain cool \xfcml\xe4uts.txt') # output:i_contain_cool_umlauts.txt

• formatação de data

from datetime import datetime

datetime.now().strftime("%Y-%m-%d")

import time
#这里只有localtime可以被格式化，time是不能格式化的
time.strftime("%Y-%m-%d",time.localtime())

• Tupla usa += problema estranho

# 会报错，但是tuple的值会改变，因为t[1]id没有发生变化
t=(1,[2,3])
t[1]+=[4,5]
# t[1]使用append\extend方法并不会报错，并可以成功执行

• __missing__ você deveria saber

class Mydict(dict):
    def __missing__(self,key): # 当Mydict使用切片访问属性不存在的时候返回的值
        return key

• + e +=

# +不能用来连接列表和元祖，而+=可以（通过iadd实现，内部实现方式为extends(),所以可以增加元组），+会创建新对象
#不可变对象没有__iadd__方法，所以直接使用的是__add__方法，因此元祖可以使用+=进行元祖之间的相加

• Como transformar cada elemento de um iterável em todas as chaves de um dicionário?

dict.fromkeys(['jim','han'],21) # output:{'jim': 21, 'han': 21}

conhecimento de rede

• O que é HTTPS?

  • Protocolo HTTP seguro, https requer certificado cs, criptografia de dados, porta 443, seguro, o mesmo site https seo ranking será maior

• Códigos de status de resposta comuns

204 No Content //请求成功处理，没有实体的主体返回，一般用来表示删除成功
206 Partial Content //Get范围请求已成功处理
303 See Other //临时重定向，期望使用get定向获取
304 Not Modified //请求缓存资源
307 Temporary Redirect //临时重定向，Post不会变成Get
401 Unauthorized //认证失败
403 Forbidden //资源请求被拒绝
400 //请求参数错误
201 //添加或更改成功
503 //服务器维护或者超负载

• Idempotência e segurança do método de solicitação http

• WSGI

# environ：一个包含所有HTTP请求信息的dict对象
# start_response：一个发送HTTP响应的函数
def application(environ, start_response):
    start_response('200 OK', [('Content-Type', 'text/html')])
    return '<h1>Hello, web!</h1>'

• RPC

• CDN

• SSL (Secure Sockets Layer) e seu sucessor, Transport Layer Security (TLS), é um protocolo de segurança que fornece segurança e integridade de dados para comunicações de rede.

• SSH (Secure Shell Protocol) é a abreviatura de Secure Shell, desenvolvido pelo Network Working Group do IETF; SSH é um protocolo de segurança baseado na camada de aplicação. SSH é atualmente o protocolo mais confiável projetado para fornecer segurança para sessões de login remoto e outros serviços de rede. O uso do protocolo SSH pode efetivamente evitar o vazamento de informações no processo de gerenciamento remoto. O SSH era originalmente um programa em sistemas UNIX e depois se expandiu rapidamente para outras plataformas operacionais. O SSH, quando usado corretamente, fecha buracos na rede. Os clientes SSH estão disponíveis para uma variedade de plataformas. Quase todas as plataformas UNIX — incluindo HP-UX, Linux, AIX, Solaris, Digital UNIX, Irix e outras — podem executar SSH.

• TCP/IP

  • Embora seja lógico que todas as quatro mensagens tenham sido enviadas, podemos entrar diretamente no estado CLOSE, mas devemos fingir que a rede não é confiável e o último ACK pode ser perdido. Então o estado TIME_WAIT é usado para reenviar a mensagem ACK que pode ser perdida.

  • Porque quando o lado do servidor recebe a mensagem de solicitação de conexão SYN do lado do cliente, ele pode enviar diretamente a mensagem SYN+ACK. Dentre elas, a mensagem ACK é utilizada para resposta, e a mensagem SYN é utilizada para sincronização. Mas quando a conexão é fechada, quando o servidor recebe a mensagem FIN, ele pode não fechar o SOCKET imediatamente, então ele só pode responder uma mensagem ACK primeiro, dizendo ao cliente: "Recebi a mensagem FIN que você enviou". Só posso enviar a mensagem FIN até que todas as mensagens no lado do meu servidor tenham sido enviadas, portanto, elas não podem ser enviadas juntas. Portanto, um aperto de mão de quatro etapas é necessário.

  • Handshake de três vias (SYN/SYN+ACK/ACK)

  • Quatro ondas (FIN/ACK/FIN/ACK)

  • TCP: orientado a conexão/confiável/baseado em fluxo de bytes

  • UDP: sem conexão / não confiável / orientado a mensagens

  • três aperto de mão quatro onda

  • Por que há um aperto de mão de três vias ao conectar, mas um aperto de mão de quatro vias ao fechar?

  • Por que o estado TIME_WAIT precisa passar por 2MSL (vida útil máxima do segmento) antes de retornar ao estado CLOSE?

• XSS/CSRF

• HttpOnly proíbe scripts js de acessar e operar cookies, o que pode impedir efetivamente XSS

mysql

• Processo de Melhoria do Índice

  • Estrutura linear->pesquisa binária->hash->árvore de busca binária->árvore binária balanceada->árvore de busca multidirecional->árvore de busca balanceada multidirecional (B-Tree)

• Artigos básicos do resumo da entrevista Mysql

• https://segmentfault.com/a/1190000018371218

• Artigos avançados do resumo da entrevista do Mysql

  • https://segmentfault.com/a/1190000018380324

• Mysql Simples

  • http://ningning.today/2017/02/13/database/mysql em termos simples/

• Ao limpar a tabela inteira, o InnoDB exclui uma linha por vez, enquanto o MyISAM exclui a tabela recém-criada

• O tipo de dados text/blob não pode ter um valor padrão e não há conversão de caso ao consultar

• Quando os índices falham

  • Tente evitar o uso de operadores != ou <> na cláusula where, caso contrário, o mecanismo desistirá de usar o índice e executará uma verificação completa da tabela

  • Tente evitar usar ou conectar as condições na cláusula where, caso contrário a engine desistirá de usar o índice e fará uma varredura completa da tabela, mesmo que haja um índice condicional, ele não será usado, por isso você deve usar ou o mínimo possível

  • Se o tipo de coluna for uma string, certifique-se de citar os dados na condição, caso contrário, o índice não será usado

  • Você deve tentar evitar executar operações de função em campos na cláusula where, o que fará com que o mecanismo desista de usar índices e execute varreduras completas de tabela

  • Para índices de várias colunas, se a primeira parte não for usada, o índice não será usado

  • Como consulta difusa começando com %

  • A conversão de tipo implícita ocorre

  • Não satisfaz o princípio do prefixo mais à esquerda

  • Cenário de falha:

例如：
select id from t where substring(name,1,3) = 'abc' – name;
以abc开头的，应改成：
select id from t where name like 'abc%' 
例如：
select id from t where datediff(day, createdate, '2005-11-30') = 0 – '2005-11-30';
应改为:

Não execute funções, operações aritméticas ou outras operações de expressão no lado esquerdo de "=" na cláusula where, caso contrário, o sistema pode não ser capaz de usar o índice corretamente

Você deve tentar evitar a execução de operações de expressão em campos na cláusula where, o que fará com que o mecanismo desista de usar índices e execute verificações de tabela completas

如：
select id from t where num/2 = 100 
应改为:
select id from t where num = 100*2；

Não é adequado para colunas com menos valores-chave (colunas com dados mais repetidos) Por exemplo: coluna set enum não é adequada (tipo de enumeração (enum) pode adicionar nulo e o valor padrão filtrará automaticamente a coleção em branco (conjunto) e a enumeração semelhante, mas apenas 64 valores podem ser adicionados)

Se o MySQL estima que usar uma varredura completa da tabela é mais rápido do que usar um índice, não use um índice

• O que é um índice clusterizado

  • Os nós de folha B+Tree armazenam dados ou ponteiros

  • Índice MyISAM e separação de dados, usando não clusterizado

  • Os arquivos de dados InnoDB são arquivos de índice e os índices de chave primária são índices clusterizados

Resumo dos comandos do Redis

• por que tão rápido

  • Como o Redis é uma operação baseada em memória, a CPU não é o gargalo do Redis. O gargalo do Redis é provavelmente o tamanho da memória da máquina ou a largura de banda da rede. Como o single-threading é fácil de implementar e a CPU não se tornará um gargalo, é lógico adotar uma solução de thread único (afinal, o multi-threading causará muitos problemas!).

  • Baseado em memória, escrito em C

  • Use modelo de multiplexação de E/S múltipla, E/S sem bloqueio

  • Use um único thread para reduzir a alternância entre threads

  • estrutura de dados simples

  • Construiu o mecanismo VM sozinho para reduzir o tempo de chamada de funções do sistema

• Vantagem

  • Alto desempenho – Redis pode ler a 110.000 vezes/s e gravar a 81.000 vezes/s

  • tipos de dados ricos

  • Atomic – todas as operações do Redis são atômicas, e o Redis também suporta a execução atômica de várias operações

  • Recursos avançados – o Redis também suporta publicação/assinatura (publicação/assinatura), notificação, expiração de chave e outros recursos

• O que é uma transação redis?

  • Um mecanismo para empacotar várias solicitações e executar vários comandos em sequência ao mesmo tempo

  • Implemente funções de transação por meio de comandos multi, exec, watch e outros

  • Python redis-py pipeline=conn.pipeline(transaction=True)

• Persistência

  • salvar (sincronização, consistência de dados pode ser garantida)

  • bgsave (assíncrono, desligamento, se não houver AOF, será usado por padrão)

  • RDB (instantâneo)

  • AOF (anexar log)

• Como implementar a fila

  • empurrar

  • rpop

• Tipos de dados comumente usados ​​(Bitmaps, Hyperloglogs, consultas de intervalo, etc. não são comumente usados)

  • skiplist (lista de salto)

  • intset-hashtable

  • ziplist (bloco de memória contínua, a cabeça de cada nó de entrada salva as informações de comprimento dos nós dianteiro e traseiro para realizar a função da lista duplamente vinculada) ou lista duplamente vinculada

  • Número inteiro ou sds (string dinâmica simples)

  • String (string): contador

  • Lista (lista): atenção do usuário, lista de fãs

  • Hash (hash):

  • Conjunto (coleção): seguidores do usuário

  • Zset (conjunto ordenado): placar de informações em tempo real

• Diferenças do Memcached

  • Memcached só pode armazenar chaves de string

  • Os usuários do Memcached só podem adicionar dados ao final de uma string existente por meio de APPEND e usar essa string como uma lista. No entanto, ao excluir esses elementos, o Memcached usa uma lista negra para ocultar os elementos da lista, evitando operações como leitura, atualização e exclusão de elementos.

  • Tanto o Redis quanto o Memcached armazenam dados na memória e ambos são bancos de dados de memória. Mas o Memcached também pode ser usado para armazenar em cache outras coisas, como fotos, vídeos etc.

  • Memória virtual – Quando a memória física se esgota, o Redis pode trocar alguns Valores que não são usados ​​há muito tempo para o disco

  • Segurança de dados de armazenamento – depois que o Memcached desliga, os dados desaparecem; Redis pode ser salvo em disco regularmente (persistência)

  • Os cenários de aplicação são diferentes: Redis pode ser usado não apenas como um banco de dados NoSQL, mas também como uma fila de mensagens, pilha de dados e cache de dados; Memcached é adequado para armazenar em cache instruções SQL, conjuntos de dados, dados temporários do usuário, dados de consulta atrasada, e sessões, etc.

• Redis implementa bloqueios distribuídos

  • Use setnx para obter o bloqueio e você pode adicionar um tempo limite até expirar ao mesmo tempo

  • O valor do bloqueio pode ser um uuid aleatório ou um nome específico

  • Ao liberar o bloqueio, julgue se é o bloqueio pelo uuid, se sim, execute delete para liberar o bloqueio

• problema comum

  • Quando o tráfego aumenta drasticamente, o serviço apresenta problemas (como tempo de resposta lento ou nenhuma resposta) ou serviços não essenciais afetam o desempenho do processo principal, ainda é necessário garantir que o serviço ainda esteja disponível, mesmo que o serviço está danificado. O sistema pode fazer o downgrade automaticamente com base em alguns dados importantes ou configurar os switches para obter o downgrade manual

  • Os dados expiram, atualize os dados em cache

  • Inicialize o projeto e adicione alguns dados comumente usados ​​ao cache

  • Ao solicitar acesso aos dados, não existe no cache de consulta nem existe no banco de dados

  • Os dados armazenados em cache expiram em um curto período de tempo e um grande número de solicitações acessa o banco de dados

  • avalanche de cache

  • penetração de cache

  • Aquecimento de Cache

  • atualização de cache

  • rebaixamento de cache

• Algoritmo Hash Consistente

  • Garanta a consistência dos dados ao usar clusters

• A implementação de um bloqueio distribuído baseado em redis requer um parâmetro de tempo limite

  • setnx

• Memória virtual

• memória surrada

Linux

• Cinco modelos de E/S Unix

  • selecionar

  • enquete

  • epoll

  • Quando a simultaneidade não é alta e o número de conexões é muito ativo

  • Não muito melhor do que selecionar

  • Aplicável a situações em que o número de conexões é grande, mas o número de links ativos é pequeno

  • bloqueando io

  • io sem bloqueio

  • Multiplexação io (usando selectot em Python para alcançar a multiplexação io)

  • io acionado por sinal

  • io assíncrono (Gevent/Asyncio implementa assincronia)

• Um manual de comando melhor que o homem

  • tldr: um manual com exemplos de comandos

• A diferença entre matar -9 e -15

  • -15: O programa para imediatamente/para quando o programa libera os recursos correspondentes/o programa ainda pode continuar em execução

  • -9: Devido à incerteza de -15, use -9 diretamente para interromper o processo imediatamente

• Mecanismo de paginação (esquema de gerenciamento de alocação de memória com endereço lógico e separação de endereço físico):

  • Para gerenciar a memória com eficiência e reduzir a fragmentação, o sistema operacional

  • O endereço lógico do programa é dividido em páginas de tamanho fixo

  • O endereço físico é dividido em quadros do mesmo tamanho

  • Endereço lógico correspondente e endereço físico através da tabela de páginas

• mecanismo de segmentação

  • Para atender a alguns requisitos lógicos do código

  • Compartilhamento de dados/Proteção de dados/Links dinâmicos

  • Alocação contínua de memória dentro de cada segmento e alocação discreta entre segmentos

• Ver uso de memória da CPU?

  • principal

  • Veja a memória disponível e solucione problemas de vazamentos de memória

Padrões de design

padrão singleton

# 方式一
def Single(cls,*args,**kwargs):
    instances = {}
    def get_instance (*args, **kwargs):
        if cls not in instances:
            instances[cls] = cls(*args, **kwargs)
        return instances[cls]
    return get_instance
@Single
class B:
    pass
# 方式二
class Single:
    def __init__(self):
        print("单例模式实现方式二。。。")

single = Single()
del Single  # 每次调用single就可以了
# 方式三(最常用的方式)
class Single:
    def __new__(cls,*args,**kwargs):
        if not hasattr(cls,'_instance'):
            cls._instance = super().__new__(cls,*args,**kwargs)
        return cls._instance

padrão de fábrica

class Dog:
    def __init__(self):
        print("Wang Wang Wang")
class Cat:
    def __init__(self):
        print("Miao Miao Miao")


def fac(animal):
    if animal.lower() == "dog":
        return Dog()
    if animal.lower() == "cat":
        return Cat()
    print("对不起，必须是：dog,cat")

modo de construção

class Computer:
    def __init__(self,serial_number):
        self.serial_number = serial_number
        self.memory = None
        self.hadd = None
        self.gpu = None
    def __str__(self):
        info = (f'Memory:{self.memoryGB}',
        'Hard Disk:{self.hadd}GB',
        'Graphics Card:{self.gpu}')
        return ''.join(info)
class ComputerBuilder：
    def __init__(self):
        self.computer = Computer('Jim1996')
    def configure_memory(self,amount):
        self.computer.memory = amount
        return self #为了方便链式调用
    def configure_hdd(self,amount):
        pass
    def configure_gpu(self,gpu_model):
        pass
class HardwareEngineer:
    def __init__(self):
        self.builder = None
    def construct_computer(self,memory,hdd,gpu)
        self.builder = ComputerBuilder()
        self.builder.configure_memory(memory).configure_hdd(hdd).configure_gpu(gpu)
    @property
    def computer(self):
        return self.builder.computer

Estruturas de Dados e Algoritmos

Python implementa várias estruturas de dados

ordenação rápida

def quick_sort(_list):
    if len(_list) < 2:
        return _list
    pivot_index = 0
    pivot = _list(pivot_index)
    left_list = [i for i in _list[:pivot_index] if i < pivot]
    right_list = [i for i in _list[pivot_index:] if i > pivot]
    return quick_sort(left) + [pivot] + quick_sort(right)

tipo de seleção

def select_sort(seq):
    n = len(seq)
    for i in range(n-1)
    min_idx = i
        for j in range(i+1,n):
            if seq[j] < seq[min_inx]:
                min_idx = j
        if min_idx != i:
            seq[i], seq[min_idx] = seq[min_idx],seq[i]

tipo de inserção

def insertion_sort(_list):
    n = len(_list)
    for i in range(1,n):
        value = _list[i]
        pos = i
        while pos > 0 and value < _list[pos - 1]
            _list[pos] = _list[pos - 1]
            pos -= 1
        _list[pos] = value
        print(sql)

classificação de mesclagem

def merge_sorted_list(_list1,_list2):   #合并有序列表
    len_a, len_b = len(_list1),len(_list2)
    a = b = 0
    sort = []
    while len_a > a and len_b > b:
        if _list1[a] > _list2[b]:
            sort.append(_list2[b])
            b += 1
        else:
            sort.append(_list1[a])
            a += 1
    if len_a > a:
        sort.append(_list1[a:])
    if len_b > b:
        sort.append(_list2[b:])
    return sort

def merge_sort(_list):
    if len(list1)<2:
        return list1
    else:
        mid = int(len(list1)/2)
        left = mergesort(list1[:mid])
        right = mergesort(list1[mid:])
        return merge_sorted_list(left,right)

Heap sort módulo heapq

from heapq import nsmallest
def heap_sort(_list):
    return nsmallest(len(_list),_list)

a pilha

from collections import deque
class Stack:
    def __init__(self):
        self.s = deque()
    def peek(self):
        p = self.pop()
        self.push(p)
        return p
    def push(self, el):
        self.s.append(el)
    def pop(self):
        return self.pop()

fila

from collections import deque
class Queue:
    def __init__(self):
        self.s = deque()
    def push(self, el):
        self.s.append(el)
    def pop(self):
        return self.popleft()

pesquisa binária

def binary_search(_list,num):
    mid = len(_list)//2
    if len(_list) < 1:
        return Flase
    if num > _list[mid]:
        BinarySearch(_list[mid:],num)
    elif num < _list[mid]:
        BinarySearch(_list[:mid],num)
    else:
        return _list.index(num)

Questões de entrevista

• Sobre otimização e design de banco de dados

  • Usar algoritmo de consenso de hash

  • setnx

  • setnx + expirar

  • usar redis

  • Se a ordem de gravação de dados da tabela InnoDB puder ser consistente com a ordem dos nós folha do índice da árvore B+, a eficiência de acesso é a mais alta neste momento. Para desempenho de armazenamento e consulta, o id de auto-aumento deve ser usado como a chave primária.

  • Para o índice primário do InnoDB, os dados serão classificados de acordo com a chave primária. Devido à desordem do UUID, o InnoDB gerará uma enorme pressão de E/S. No momento, não é adequado usar o UUID como a chave primária física. É pode ser usado como a chave primária lógica Adicionar ID. Para exclusividade global, uuid deve ser usado como um índice para associar outras tabelas ou como uma chave estrangeira

  • https://segmentfault.com/a/1190000018426586

  • Como implementar uma fila usando duas pilhas

  • lista encadeada reversa

  • Mesclar duas listas classificadas

  • Excluir nó da lista vinculada

  • árvore binária reversa

  • Projetar um serviço de URL curto? 62 implementação hexadecimal

  • Projetar um sistema seckill (fluxo de alimentação)?

  • https://www.jianshu.com/p/ea0259d109f9

  • Por que é melhor usar um inteiro de incremento automático para a chave primária do banco de dados mysql? Posso usar o uuid? Por que?

  • Se for um sistema distribuído, como geramos o id de auto-incremento do banco de dados?

  • A implementação de um bloqueio distribuído baseado em redis requer um parâmetro de tempo limite

  • Se um único nó redis cair, como lidar com isso? Existem outras soluções na indústria para implementar códigos de bloqueio distribuídos?

algoritmo de cache

• LRU (menos usado recentemente): substitua o objeto menos usado recentemente

• LFU (Least freqüentemente usado): Usado com menos frequência, se um dado foi usado raramente no período mais recente, é muito improvável que seja usado no futuro

Direção de otimização de desempenho do lado do servidor

• Use estruturas de dados e algoritmos

• base de dados

  • slow_query_log_file está ativado e consulta log de consulta lenta

  • Solucionar problemas de indexação por meio da explicação

  • Ajustar índice de modificação de dados

  • otimização de índice

  • eliminação de consulta lenta

  • Operações em lote para reduzir operações io

  • Use NoSQL: como Redis

• rede-io

  • operação em lote

  • gasoduto

• cache

  • Redis

• assíncrono

  • Asyncio implementa operações assíncronas

  • Use o Celery para reduzir o bloqueio de io

• simultaneidade

• Multithreading

• ventilação