Guía paso a paso para comenzar con el aprendizaje profundo (1): Guía de configuración del entorno Anaconda y PyTorch a nivel de niñera

Estación B: ¡ Actualización pronto! ! ! _bilibili
CSDN: le guiará paso a paso para comenzar con el aprendizaje profundo (1): Guía de configuración del entorno Anaconda y PyTorch de nivel niñera_Cerrado después de cien años - Blog de CSDN Github: Cerrado después de cien años Cuenta pública: Cerrado después de
cien años

1. Prefacio y trabajo preparatorio

¡Hola, soy Feng Bi!

Hoy en día, con la evolución continua de la tecnología de aprendizaje profundo, nuestras vidas están experimentando cambios trascendentales: ya sea visión por computadora, procesamiento del lenguaje natural o tecnología de recomendación, existen diversos grados de innovación. Con la mejora continua de las herramientas y el conocimiento, el umbral para que aprendamos el aprendizaje profundo es cada vez más bajo. Para los estudiantes que desean comenzar rápidamente, a menudo necesitan recopilar varios materiales y es difícil encontrar un tutorial introductorio completo. Aquí, para satisfacer las necesidades de los estudiantes que son nuevos en el aprendizaje profundo, registremos una serie de artículos sobre cómo comenzar con el aprendizaje profundo. Cuando se trata de marcos de aprendizaje profundo, PyTorch es fácil de comenzar y es Se utiliza más en círculos académicos. Para configurar el entorno PyTorch, es mejor instalar primero el entorno Python y el paquete Anaconda. Herramientas de administración, este artículo le presentará el aprendizaje profundo: todo el proceso de configuración del entorno Python y Anaconda, y le enseñará ¡Paso a paso cómo completar la configuración del entorno de aprendizaje profundo de Python!

1.1 La relación entre python, anaconda y pytorch

Creo que los amigos que son nuevos en el aprendizaje profundo pueden sentirse confundidos por los términos python, anaconda y pytorch, no saben cuál debe instalarse primero y para qué sirve cada uno. Aquí presentaré brevemente cuáles son estos tres y sus respectivas funciones, ¡creo que después de comprender la relación entre estos tres, estaremos más cómodos a la hora de configurarnos! Primero echemos un vistazo a cuáles son los tres:

• Python es un lenguaje muy utilizado 编程语言y tiene aplicaciones en muchos campos. Tiene una sintaxis concisa, es fácil de aprender y tiene una gran cantidad de bibliotecas de terceros para usar.

• Anaconda es un Python 包和环境管理软件que proporciona muchas bibliotecas y herramientas para ciencia de datos, aprendizaje automático y computación científica. También proporciona un administrador de paquetes, conda, para instalar y administrar fácilmente bibliotecas de Python y otros paquetes.

• PyTorch es una herramienta 开源深度学习框架desarrollada en base a Python. Proporciona una gran cantidad de funciones y herramientas para ayudar a los usuarios a entrenar y desarrollar modelos de redes neuronales. PyTorch se puede instalar mediante pip o conda, por lo que tiene una estrecha relación con Anaconda y Python.

Entonces, a través de la explicación anterior, combinada significa:

En primer lugar, necesitamos configurar el entorno del lenguaje Python para nuestra programación básica; sin embargo, en el desarrollo real, a menudo necesitamos instalar diferentes bibliotecas de terceros para diferentes proyectos, incluidos varios paquetes del proyecto A y paquetes del proyecto B. Las versiones pueden estar en conflicto, por lo que puede ser necesario cambiar repetidamente la versión del paquete en el entorno. ¿No es esto muy problemático? En este momento se necesita Anaconda para ayudarnos a crear diferentes entornos virtuales, puedes configurar los paquetes y versiones correspondientes al proyecto entre cada entorno, para que no haya conflictos y se vea muy elegante. Entonces, el último pytorch, en realidad se basa en el marco de otras bibliotecas de terceros. Por supuesto, también se puede considerar como una biblioteca de terceros. Se puede considerar que su función es un marco utilizado específicamente para el aprendizaje profundo. Por lo general, lo usamos específicamente para el aprendizaje profundo. Él crea un entorno virtual. ¿No es muy impresionante? Así es.

2. Instalación de Anconda

Muchos estudiantes pueden estar confundidos. ¿No se dice que primero es necesario configurar el entorno Python? ¿Por qué se menciona anaconda aquí? De hecho, no es el caso. Anaconda vendrá con uno después de la instalación, que contiene la última versión de Python. intérprete y base环境herramientas de administración de paquetes relacionadas, por lo que no necesitamos instalar Python por separado en absoluto, y si solo usas Python para matar pollos, entonces no necesitas anaconda, hhh ~.

Aquí demostramos principalmente en función del método de configuración del entorno anaconda en Windows. Las configuraciones en Linux y Mac son en realidad similares.

Sin más preámbulos, ¡comencemos!

2.1 Instalar anaconda

1. Primero vaya al sitio web oficial de Anaconda para descargar el paquete de instalación.
   

Generalmente, la descarga es muy rápida. Si cree que la velocidad de descarga es lenta, también puede ir a Tsinghua Source para echar un vistazo. Como se muestra a continuación, simplemente elija la última versión que sea adecuada para su computadora. Para Windows, es Anaconda3-2022.10 -Windows-x86_64.exe , si está utilizando una Mac, puede elegir Anaconda3-2022.10-MacOSX-x86_64.pkg arriba .

2. Abra el paquete de instalación que acaba de descargar y luego siga presionando Siguiente. Debe instalarlo paso a paso de acuerdo con los requisitos. Simplemente siga presionando Siguiente, como se muestra a continuación.

Luego viene el proceso de instalación. No continuaré aquí. Solo espera la instalación. ¡Puedes guardar este artículo!

4. Compruebe si anaconda se instaló correctamente

Presione la tecla win+ r, ingrese cmd, abracmd

Entrada conda -V, generalmente hay dos situaciones, se instala la siguiente.

Si se informa un error, primero debe encontrar la ruta de instalación de anaconda, por ejemplo, está en C:\Users\xxx\anaconda3, luego debe agregar las siguientes rutas a las variables de entorno de su sistema, pathes decir, agregar la ruta biny Scriptsde anaconda Vaya a variables de entorno de la siguiente manera:

C:\Users\xxx\anaconda3\bin
C:\Users\xxx\anaconda3\Scripts
C:\Users\xxx\anaconda3

Después de la operación, simplemente verifique si conda está instalado, 一般出问题就是环境变量没加入进去de lo contrario no habrá ningún problema.

2.2 Cambiar fuente de pip y fuente de anaconda

Cuando instalamos paquetes, a menudo nos encontramos con problemas con una red deficiente o una descarga lenta. En este momento, necesitamos configurar la fuente pip y la fuente anaconda. Los métodos de configuración de la fuente pip y la fuente anaconda se detallan a continuación:

2.2.1 Configurar la fuente de pips

Para resolver el problema de instalar paquetes de dependencia relacionados y descargar Python muy lentamente en China, primero debemos configurar la fuente del espejo pip, el método específico es el siguiente:

1. C:\Users\xxxCree una pipcarpeta con el nombre y luego cree un archivo en ella . pip.iniTenga en cuenta que deberá modificar el contenido de este archivo más adelante, por lo que puede cambiar el nombre a primero pip.txty luego cambiarlo apip.ini
   
2. ¡Modifique pip.iniel contenido del archivo y guárdelo! Es así de simple~

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

Por supuesto, también puede utilizar las siguientes fuentes para reemplazar los valores pip.inien el archivo anterior index-url, de la siguiente manera:

• Universidad de Tsinghua: https://pypi.tuna.tsinghua.edu.cn/simple/
• Nube de Alibaba: http://mirrors.aliyun.com/pypi/simple/
• Universidad de Ciencia y Tecnología de China: http://pypi.mirrors.ustc.edu.cn/simple/

2.2.2 Configurar la fuente anaconda

El método de configuración de la fuente anconda es el siguiente:

1. C:\Users\xxxBusque un archivo llamado , .condarcsi no existe, ¡cree uno!

2. ¡Luego haga clic derecho para abrirlo con el Bloc de notas o vscode! Pegue el siguiente párrafo en este archivo.

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

Si no lo tienes claro, también puedes consultar este tutorial oficial de Tsinghua Source o dejarme un comentario. En el tutorial oficial, la dirección puede comenzar con https, pero en realidad puede ser incorrecta. Luego puedes cambiarla httpsy httpestará bien. Lo que te doy aquí es http~

2.3 Crear un entorno virtual

¡Bien, todo está listo! Finalmente podemos crear nuestro propio entorno virtual para diferentes necesidades del proyecto sin problemas e instalar diferentes versiones de Python y bibliotecas de terceros en el entorno virtual. Sin más preámbulos, ¡comencemos!

1. Primero echemos un vistazo a qué entornos virtuales tenemos.

Primero abramos cmd e ingresemos conda env list, como se muestra en la imagen de abajo, puedes ver que tenemos muchos entornos virtuales, el más básico es el entorno base, los demás los creé yo antes. El frente es el nombre del entorno, seguido de las dependencias correspondientes relacionadas con el entorno y las rutas de los paquetes.

2. Crear un entorno virtual

Luego ingresamos el siguiente comando para crear un entorno virtual con una versión de Python 3.9llamado my_envde la siguiente manera:

conda create -n my_env python=3.9

Ingrese ypara continuar con el siguiente paso, instalará rápidamente algunos paquetes y luego estará bien cuando vea lo siguiente

3. Activa el entorno virtual y echa un vistazo

Bien, ya tienes tu propio entorno virtual, echemos un vistazo a lo que contiene. ¿Y cómo utilizar el intérprete de Python de su entorno virtual para ejecutar código Python?

Primero, abra cmd y use activate my_envo conda activate my_envpara activar su entorno virtual, verá un (my_env) delante de la línea de comando, lo que indica que ha ingresado. Luego ingrese a la lista conda y podrá ver los paquetes y los números de versión en su entorno virtual.

Probemos brevemente Python aquí: primero cmdingrese python, ingrese a la terminal de Python y luego ingrese el siguiente código, se generará magia y se emitirá amor.

print('\n'.join([''.join([('Love'[(x-y) % len('Love')] if ((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3 <= 0 else ' ') for x in range(-30, 30)]) for y in range(30, -30, -1)]))

Por supuesto, si quieres salir, exit()simplemente entra.

2.4 Comandos conda de uso común

A continuación se muestran algunos comandos conda de uso común para su referencia:

# 建立新环境
conda create -n new env_name  python=3.8
# conda初始化
conda init
# 激活虚拟环境
conda activate env_name 或者  activate env_name
# 查看虚拟环境
conda env list
# 删除虚拟环境
conda remove -n env_name --all

3. Instalación de PyTorch

Bien, ahora hemos llegado a la última etapa de configuración del entorno. ¡Gracias por tu perseverancia!

Hasta ahora, ha habido muchos marcos para que los utilicemos en la investigación de aprendizaje profundo. De hecho, en el análisis final, podemos considerar el marco de aprendizaje profundo como un horno de alquimia. Otros ya han construido el horno para nosotros. Solo necesitamos para seguir los pasos para usar el horno para hacer elixires. Actualmente, los marcos de aprendizaje profundo más convencionales incluyen: PyTorch, Tensorflow, Caffe, etc. Por supuesto, para satisfacer las necesidades del desarrollo e implementación del modelo del lado del cliente, también se utilizan con mucha frecuencia marcos del lado del cliente como MNN y TNN. PyTorch se usa más en investigación científica, así que sigamos la instalación de PyTorch como ejemplo aquí. Si tiene otras necesidades, puede dejar un mensaje y avisarme, y puedo hacer un capítulo adicional hhh ~

La configuración del entorno Pytorch en realidad se divide en dos pasos. Será diferente según las limitaciones de nuestro propio equipo de potencia informática. Se divide principalmente en versiones de CPU y GPU. La GPU es principalmente para tarjetas gráficas NVIDIA. Es relativamente problemático de instalar. La versión CPU se puede utilizar para algunas pruebas, en comparación con la versión GPU, carece de aceleración paralela durante el entrenamiento, por lo que la velocidad será mucho más lenta. ¿Cómo saber si tienes una tarjeta gráfica NVIDIA? Abra el administrador de tareas y haga clic en GPU. Si aparecen las palabras en el cuadro rojo, entonces tiene mucha suerte. Es un distinguido propietario de una tarjeta gráfica y puede instalar la versión GPU de PyTorch.

Pero si, como en la imagen de abajo, no tienes una tarjeta gráfica y solo tienes una tarjeta gráfica integrada, no entres en pánico. También tenemos una versión de CPU de PyTorch, si puedes tolerar el zumbido del ventilador durante el entrenamiento del modelo. y el interminable progreso del entrenamiento. Si es así, está totalmente bien jajaja, o si solo quieres ejecutar una prueba de código, entonces la CPU está completamente bien.

Sin más preámbulos, ¡comencemos!

3.1 Instalar la versión de CPU PyTorch

3.1.1 Instalación rápida

La instalación de la versión CPU es muy sencilla.

1. Primero, vayamos al sitio web oficial de PyTorch y echemos un vistazo:
   

2. Seleccione windowsy versión y podremos obtener el comando azul, ¡vea python!cpu

conda install pytorch torchvision torchaudio cpuonly -c pytorch

¿Dónde debería ejecutarse este comando? De hecho, solo necesitamos activar el entorno virtual my_env creado por Anaconda en el segundo paso en cmd y luego ingresar el comando anterior, como se muestra a continuación:

processdIngrese yy espere pacientemente la instalación automática ~

3. Verificar que la instalación fue exitosa

Podemos ingresar el cmd después de la instalación pythony luego ingresar los dos fragmentos de código en el cuadro rojo. El primero es importar el paquete de la antorcha, luego crear un vector tensor de 5 * 3 e imprimirlo; el segundo es verifique si la gpu está disponible, la versión de CPU de la gpu definitivamente no está disponible (no se puede hacer algo de la nada, jajaja):

import torch
x = torch.rand(5, 3)
print(x)

import torch
torch.cuda.is_available()

Si tiene un resultado similar al que se muestra arriba, errorpero no aparece, felicidades, la instalación fue exitosa y ya puede ejecutar muchos modelos y códigos previamente entrenados por otros ~

3.1.2 Instalar según la versión especificada (avanzada)

Muchas veces necesitamos instalar la versión de PyTorch según los requisitos del proyecto, en este momento generalmente existen dos tipos:

1. Instalar según los requisitos del proyecto.txt

Por ejemplo, necesitamos configurar el entorno yolov5 para la detección de objetivos, primero descargue el proyecto yolov5 y luego preste atención a su contenido requirements.txt, como se muestra en la siguiente figura.

Ingresamos a la carpeta yolov5, luego abrimos cmd, activamos el entorno virtual y luego ingresamos pip install -r requirements.txt, como se muestra en la figura siguiente, para instalar de acuerdo con los requisitos del proyecto.

2. Elige la versión que necesitas instalar

Este grado de libertad es mayor. Cuando tenga requisitos claros para su versión, puede ir directamente a la versión histórica de pytorch para encontrar el paquete que desea. Por ejemplo: si su plataforma es Linux o Windows, necesita usar pip para instale su paquete y desee instalar la versión de CPU de pytorch, versión 1.8.1, luego puede copiarlo directamente pip命令, como se muestra a continuación:

pip install torch==1.8.1+cpu torchvision==0.9.1+cpu torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

Por supuesto, también puede usar conda para instalar o elegir diferentes instrucciones según la plataforma, la versión del paquete, la CPU o la GPU, ¡lo cual es adecuado para estudiantes que tienen una buena comprensión de los requisitos ambientales! Los estudiantes que son nuevos en el aprendizaje pueden omitirlo primero. Una vez que la configuración del entorno lo haya superado, debería tener más claras sus necesidades.

3.2 Instalar la versión GPU PyTorch

Esta sección consta principalmente de tres partes:

• Una es la instalación del controlador de la tarjeta gráfica, es decircuda
• Uno es cudnnla instalación y la instalación de cudatoolkit.
• También está gpu版本PyTorchla instalación. Esto es similar a la versión de la CPU. Simplemente seleccione el comando para instalarlo y estará bien.

Para este artículo, puede consultar mi artículo anterior: en ese momento se usaba la tarjeta gráfica nvidia 3080, las instrucciones para configurar la versión pytorch1.7.1 en la plataforma Windows y el proceso de instalación detallado de 3080 + pytorch1.7 + windows .