Notas de estudio de conocimientos básicos de Python crawler y pytorch

1. Genere una lista / tupla secuencial

s = [x for x in range(1,10)]

2. Formato de salida de Python

print("Python{} {}/{}/{}".format('学习',2019,9,6))
print("Python%s %d/%2d/%2d"%('学习',2019,9,6))# %s输出字符串，%2d输出2格整数
#此外还有%f，%4.2f等控制小数点后位数

3.uso de la función Lambda

Se utiliza para definir una función anónima. La función función es muy simple, no es necesario definir una función por separado, en este momento, lambda es útil.

f = lambda x: x*x + 1
f(3)
f(5)

4.uso de la función de mapa

La función de mapa, utilizada para el mapeo uno a uno, es muy simple. Los parámetros de entrada son la relación de mapeo y la secuencia (generalmente una lista, pero también tuplas). Un mapeo uno a uno de los elementos en la secuencia a través de una función definida devuelve una lista.

f = lambda x: x*x + 1
s = [x for x in range(1,10)]
ss = map(f,s)
for i in ss:
	print("函数值：\t%d"%(i))

5.Notas especiales de Python

#!/usr/bin/python3 env

Esta oración indica la ubicación del compilador de Python. En el entorno de Windows, esto no es necesario, pero debe ser en el entorno de Linux. Para ser compatible con el entorno de Linux, agregue esta oración.

#coding=utf-8

Esta oración especifica la codificación de caracteres, python3 por defecto es utf-8, pero python2 usa codificación ASCII. Para ser compatible con python2, agregue esta oración.

6. Utilice expresiones regulares para eliminar los caracteres que no sean chinos en la cadena.

import re #引入正则
def remove(text):
	remove_chars = '[A-Z0-9’a-z!"#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'
    return re.sub(remove_chars, '', text)

7.Haga que la instrucción se ejecute solo cuando se esté ejecutando y no se ejecute cuando se llame

if __name__ == "__main__":
	print("Print only in running")
#if下面的语句将在被调用时不会执行

8.Método de archivo de lectura y escritura de Python

Básicamente lo mismo que las palabras clave en lenguaje C

r	Modo de solo lectura	El archivo debe existir (modo predeterminado)
w	Modo de solo escritura	Si el archivo no existe, se creará, si existe, se escribirá después de vaciarlo.
un	Modo anexar	Si el archivo no existe, créelo y agregue el contenido después de que exista
r +	Modo de lectura y escritura	El archivo debe existir, comenzar desde el principio, sobrescribir todo lo que escriba y ser legible al mismo tiempo
w +	Modo de lectura y escritura	Si el archivo no existe, se creará, si existe, se escribirá y leerá al mismo tiempo.
a +	Modo de lectura y escritura	Cree el archivo si no existe, escríbalo después del contenido si existe y léalo

Ejemplo de lectura y escritura:

fr = open('test1.txt','r+')#打开文件
for line in fr: #遍历文件
    print('每行内容为：',line) #打印文件中每一行内容
fr.close()#关闭文件

fw = open('test2.txt','w+')#打开或创建文件
fw.write('Python写入操作')
fw.close()#关闭文件

Nota: Durante la operación de lectura, preste atención a si el puntero del archivo está al final del archivo. Si está al final, debe restablecer el puntero al principio con seek (0) para leer el contenido del archivo, como: fr.seek (0)

Codificación de archivos 9.TXT

El archivo txt está predeterminado en codificación gbk, pero cuando la codificación de caracteres es utf-8, se informará un error. En este momento, debe especificar la codificación de caracteres como utf-8

with open('test.txt','w',encoding = 'utf-8') as fp:
	fp.write(result)

10. Dos formas de hacer referencia al artículo al aplicar el módulo scrapy

1. Lo siguiente provocará un error tipográfico en Pycharm, pero aún se puede ejecutar

from FindMovies.items import FindmoviesItem

2. En lugar de utilizar el siguiente método, no habrá problemas

import sys
sys.path.append('E:\\PyCharm2017\\program\\FindMovies\\FindMovies')# 当前items所在的路径
from items import FindmoviesItem

11. El establecimiento de un marco scrapy en múltiples versiones de Python de la computadora.

1. En general, el marco de scrapy está establecido, solo busque la ruta donde está almacenado el programa en la línea de comando e ingrese el siguiente comando:

scrapy startProject scrapyDemo	#建立名为scrapyDemo爬虫框架
tree scrapyDemo	#查看框架产生的项目分支

Si se devuelve la siguiente rama del proyecto, significa que la creación se realizó correctamente

. 2. Si hay varias versiones de Python, puede aparecer un
error fatal en el lanzador: No se puede crear el proceso usando ... En este momento, debe ingresar el comando para especificar la versión de Python Crear:

python -m scrapy startproject scrapyDemo

Ahora se puede crear normalmente.

12. Descargue la dirección y guarde la ubicación del modelo pytorch

1. El enlace de descarga de cada modelo de pytorch es el siguiente:
   enlace: blog ; copia directamente la dirección de descarga y pégala en el navegador para descargar.
2. La ubicación de almacenamiento del modelo descargado se puede determinar de la siguiente manera:
   entrada en IDLE

import torchvisvion.models as models
resnet = models.resnet18(pretrained=True)

Aparecerá para descargar el archivo y su ubicación de almacenamiento, simplemente copie el modelo descargado en la ruta modificada.

13. La diferencia entre CNN y RNN

CNN es la abreviatura de Convolutional Neural Network, y RNN es la abreviatura de Recurrent Neural Network. La limitación de CNN es que su secuencia de entrada y salida es fija, mientras que RNN es variable, que se representa gráficamente de la siguiente manera:

CNN es uno a uno y RNN es uno a muchos, muchos a uno y muchos a muchos. RNN es adecuado para escenarios con secuencias de entrada y salida variables, como traducción automática, procesamiento de texto, etc. En general, RNN está diseñado para manejar datos de longitud variable.

14. Errores encontrados y soluciones

1.TypeError: no todos los argumentos se convierten durante el formateo de cadenas

Este es un problema al que no corresponde el parámetro y aparece cuando se usa% para pasar el parámetro.
Solución:
Reemplace% con .format ().