Guia passo a passo para você começar com o aprendizado profundo (1): Guia de configuração do ambiente Anaconda e PyTorch no nível Nanny

Estação B: Atualização em breve! ! ! _bilibili
CSDN: Guia passo a passo para começar com o aprendizado profundo (1): Guia de configuração do ambiente Anaconda e PyTorch de nível Nanny_Fechado após cem anos - Blog CSDN Github: Fechado após cem anos Conta pública: Fechado após
cem anos

1. Prefácio e Trabalho Preparatório

Olá, eu sou Feng Bi!

Hoje, com a evolução contínua da tecnologia de aprendizagem profunda, nossas vidas estão passando por mudanças radicais. Quer se trate de visão computacional, processamento de linguagem natural ou tecnologia de recomendação, existem vários graus de inovação. Com a melhoria contínua das ferramentas e do conhecimento, o limite para aprendermos o aprendizado profundo está cada vez mais baixo.Para os alunos que desejam começar rapidamente, muitas vezes precisam coletar vários materiais, e é difícil encontrar um tutorial introdutório completo. . Aqui, para satisfazer aqueles que são novos no aprendizado profundo Para atender às necessidades dos alunos, vamos gravar a série de artigos sobre como começar com o aprendizado profundo. Quando se trata de estruturas de aprendizado profundo, o PyTorch é fácil de começar e é mais usado em círculos acadêmicos. Para configurar o ambiente PyTorch, é melhor primeiro instalar o ambiente python e o pacote Anaconda. Ferramentas de gerenciamento, este artigo apresentará o aprendizado profundo - todo o processo de configuração do ambiente Python e Anaconda, e ensinará você passo a passo como concluir a configuração do ambiente de aprendizagem profunda Python!

1.1 A relação entre python, anaconda e pytorch

Acredito que amigos que são novos no aprendizado profundo podem ficar confusos com os termos python, anaconda e pytorch, pois não sabem qual deles deve ser instalado primeiro e para que serve cada um. Aqui vou apresentar brevemente o que são esses três e suas respectivas funções, acredito que depois de entender a relação entre esses três ficaremos mais confortáveis ​​na hora de nos configurar! Vamos primeiro dar uma olhada no que são os três:

• Python é uma linguagem amplamente utilizada 编程语言e tem aplicações em muitos campos. Possui uma sintaxe concisa, é fácil de aprender e possui um grande número de bibliotecas de terceiros para usar.

• Anaconda é um Python 包和环境管理软件que fornece muitas bibliotecas e ferramentas para ciência de dados, aprendizado de máquina e computação científica. Ele também fornece um gerenciador de pacotes, conda, para instalar e gerenciar facilmente bibliotecas Python e outros pacotes.

• PyTorch é uma ferramenta 开源深度学习框架desenvolvida baseada em Python. Ele fornece um grande número de funções e ferramentas para ajudar os usuários a treinar e desenvolver modelos de redes neurais. PyTorch pode ser instalado via pip ou conda, por isso tem um relacionamento próximo com Anaconda e Python.

Então, através da explicação acima, combinada significa:

Primeiro de tudo, precisamos configurar o ambiente da linguagem Python para nossa programação básica; no entanto, no desenvolvimento real, muitas vezes precisamos instalar diferentes bibliotecas de terceiros para diferentes projetos, incluindo vários pacotes do projeto A e pacotes do projeto B. O as versões podem ser conflitantes, então pode ser necessário alterar repetidamente a versão do pacote no ambiente. Isso não é muito problemático? Neste momento, o Anaconda é necessário para nos ajudar a criar diferentes ambientes virtuais, você pode configurar os pacotes e versões correspondentes ao projeto entre cada ambiente, para que não haja conflitos e fique muito elegante. Portanto, o último pytorch, na verdade, depende da estrutura de algumas outras bibliotecas de terceiros. Claro, também pode ser considerada uma biblioteca de terceiros. Pode-se considerar que sua função é uma estrutura usada especificamente para aprendizado profundo, então geralmente o usamos especificamente para aprendizado profundo. Ele cria um ambiente virtual. Não é muito impressionante? Isso mesmo.

2. Instalação Anconda

Muitos alunos podem ficar confusos. Não é dito que você precisa configurar o ambiente Python primeiro? Por que o anaconda é mencionado aqui? Na verdade, não é o caso. O próprio Anaconda virá com um após a instalação, que contém o python mais recente intérprete e base环境ferramentas de gerenciamento de pacotes relacionadas. Portanto, não precisamos instalar o python separadamente, e se você apenas usa o python para matar galinhas, então não precisa do anaconda, hhh ~.

Aqui demonstramos principalmente com base no método de configuração do ambiente anaconda no Windows. As configurações no Linux e Mac são realmente semelhantes.

Sem mais delongas, vamos começar!

2.1 Instale o anaconda

1. Primeiro acesse o site oficial do anaconda para baixar o pacote de instalação
   

Geralmente, o download é muito rápido. Se você acha que a velocidade de download é lenta, você também pode ir até a fonte Tsinghua para dar uma olhada. Conforme mostrado abaixo, basta escolher a versão mais recente adequada ao seu computador. Para Windows, é é Anaconda3-2022.10 -Windows-x86_64.exe , se você estiver usando um Mac, poderá escolher Anaconda3-2022.10-MacOSX-x86_64.pkg acima .

2. Abra o pacote de instalação que você acabou de baixar e continue pressionando Próximo. Você precisa instalá-lo passo a passo de acordo com os requisitos. Basta continuar pressionando Próximo, conforme mostrado abaixo.

Depois vem o processo de instalação. Não vou continuar aqui. Basta aguardar a instalação. Você pode salvar este artigo!

4. Verifique se o anaconda foi instalado com sucesso

Pressione a tecla win+ r, digite cmd, abracmd

Entrada conda -V, geralmente há duas situações: a seguinte está instalada.

Se um erro for relatado, você precisa primeiro encontrar o caminho de instalação do anaconda, por exemplo, está em C:\Users\xxx\anaconda3, então você precisa adicionar os seguintes caminhos às variáveis ​​de ambiente do seu sistema, pathou seja, adicionar o caminho bine Scriptsdo anaconda Vá para o variáveis ​​de ambiente da seguinte forma:

C:\Users\xxx\anaconda3\bin
C:\Users\xxx\anaconda3\Scripts
C:\Users\xxx\anaconda3

Após a operação, basta verificar se o conda está instalado, 一般出问题就是环境变量没加入进去caso contrário não há problema.

2.2 Alterar fonte pip e fonte anaconda

Quando instalamos pacotes, muitas vezes encontramos problemas de rede ruim ou download lento. Neste momento, precisamos configurar a fonte pip e a fonte anaconda. Os métodos de configuração da fonte pip e da fonte anaconda são fornecidos abaixo:

2.2.1 Configurar fonte pip

Para resolver o problema de instalação de pacotes de dependência relacionados e download de python na China muito lentamente, precisamos primeiro configurar a fonte do espelho pip. O método específico é o seguinte:

1. C:\Users\xxxCrie uma pippasta chamada in e, em seguida, crie um arquivo nela . pip.iniObserve que você precisará modificar o conteúdo deste arquivo posteriormente, para que possa alterar o nome para first pip.txte, em seguida, alterá-lo parapip.ini
   
2. Modifique pip.inio conteúdo do arquivo e salve-o! É simples assim ~

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

Claro, você também pode usar as seguintes fontes para substituir os valores pip.inino arquivo acima index-url, como segue:

• Universidade Tsinghua: https://pypi.tuna.tsinghua.edu.cn/simple/
• Nuvem Alibaba: http://mirrors.aliyun.com/pypi/simple/
• Universidade de Ciência e Tecnologia da China: http://pypi.mirrors.ustc.edu.cn/simple/

2.2.2 Configurar fonte anaconda

O método de configuração da fonte anconda é o seguinte:

1. C:\Users\xxxEncontre um arquivo chamado , .condarcse não existir, crie um!

2. Em seguida, clique com o botão direito para abri-lo com o Bloco de notas ou vscode! Cole o seguinte parágrafo neste arquivo

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

Se não tiver certeza, você também pode consultar este tutorial oficial da Tsinghua Source ou deixar um comentário para mim! No tutorial oficial, o endereço pode começar com https, mas pode estar errado. Então você pode alterá-lo httpse httptudo ficará bem. O que eu lhe dou aqui é http~

2.3 Crie um ambiente virtual

Ok, está tudo pronto! Podemos finalmente criar nosso próprio ambiente virtual para diferentes necessidades de projetos sem problemas e instalar diferentes versões de python e bibliotecas de terceiros no ambiente virtual. Sem mais delongas, vamos começar!

1. Vamos primeiro dar uma olhada em quais ambientes virtuais temos

Vamos abrir o cmd primeiro e digitar conda env list, como mostra a imagem abaixo. Você pode ver que temos muitos ambientes virtuais. O mais básico é o ambiente base, e os outros foram criados por mim antes. A frente é o nome do ambiente, seguido pelas dependências relacionadas ao ambiente e caminhos de pacote correspondentes.

2. Crie um ambiente virtual

Em seguida, inserimos o seguinte comando para criar um ambiente virtual 3.9denominado python version my_env, conforme mostrado abaixo:

conda create -n my_env python=3.9

Entre ypara continuar para a próxima etapa, ele instalará rapidamente alguns pacotes, e então tudo ficará bem quando você ver o seguinte

3. Ative o ambiente virtual e dê uma olhada

Pronto, você já tem seu próprio ambiente virtual, vamos dar uma olhada no que tem nele? E como usar o interpretador python do seu ambiente virtual para executar código python?

Primeiro, abra o cmd e use activate my_envou conda activate my_envpara ativar seu ambiente virtual. Você verá um (my_env) na frente da linha de comando, indicando que você digitou. Em seguida, entre na lista conda e você poderá ver os pacotes e números de versão em seu ambiente virtual.

Vamos testar brevemente o python aqui. Primeiro cmdentre python, entre no terminal python e, em seguida, insira o código a seguir, a magia será gerada e o amor será emitido!

print('\n'.join([''.join([('Love'[(x-y) % len('Love')] if ((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3 <= 0 else ' ') for x in range(-30, 30)]) for y in range(30, -30, -1)]))

Claro, se quiser sair, exit()basta entrar.

2.4 Comandos conda comumente usados

Aqui estão alguns comandos conda comumente usados ​​para sua referência:

# 建立新环境
conda create -n new env_name  python=3.8
# conda初始化
conda init
# 激活虚拟环境
conda activate env_name 或者  activate env_name
# 查看虚拟环境
conda env list
# 删除虚拟环境
conda remove -n env_name --all

3. Instalação do PyTorch

Pronto, agora chegamos à última etapa da configuração do ambiente, obrigado pela persistência!

Até agora, existem muitas estruturas para usarmos na pesquisa de aprendizagem profunda. Na verdade, em última análise, podemos pensar na estrutura de aprendizagem profunda como uma fornalha de alquimia. Outros já construíram a fornalha para nós. Só precisamos seguir os passos para usar a fornalha para fazer elixires. Atualmente, as estruturas de aprendizagem profunda mais convencionais incluem: PyTorch, Tensorflow, Caffe, etc. É claro que, para atender às necessidades de desenvolvimento e implantação de modelos do lado do cliente, estruturas do lado do cliente, como MNN e TNN, também são comumente usadas. PyTorch é mais usado em pesquisas científicas, então vamos seguir a instalação do PyTorch como exemplo aqui. Se você tiver outras necessidades, pode deixar uma mensagem e me avisar, e posso fazer um capítulo extra hhh ~

A configuração do ambiente Pytorch é, na verdade, dividida em duas etapas. Será diferente de acordo com as limitações de nosso próprio equipamento de poder de computação. É dividido principalmente em versões de CPU e GPU. GPU é principalmente para placas gráficas NVIDIA. É relativamente problemático instalar A versão CPU pode ser usada para alguns testes. Comparada com a versão GPU, ela não possui aceleração paralela durante o treinamento, então a velocidade será muito mais lenta. Como saber se você possui uma placa gráfica NVIDIA? Abra o gerenciador de tarefas e clique em GPU. Se as palavras na caixa vermelha aparecerem, então você tem muita sorte. Você é um proprietário distinto de placa gráfica e pode instalar a versão GPU do PyTorch.

Mas se como na imagem abaixo, você não tem placa gráfica e só tem placa gráfica integrada, não entre em pânico. Também temos uma versão CPU do PyTorch, se você aguentar o zumbido da ventoinha durante o treinamento do modelo e o progresso interminável do treinamento. Se sim, tudo bem hahaha, ou se você quiser apenas executar um teste de código, então a CPU está perfeitamente bem.

Sem mais delongas, vamos começar!

3.1 Instale a versão da CPU PyTorch

3.1.1 Instalação rápida

A instalação da versão CPU é muito simples.

1. Primeiro, vamos ao site oficial do PyTorch e dar uma olhada:
   

2. Selecione windowse pythonversão cpue podemos obter o comando azul, veja!

conda install pytorch torchvision torchaudio cpuonly -c pytorch

Onde este comando deve ser executado? Na verdade, só precisamos ativar o ambiente virtual my_env criado pelo Anaconda na segunda etapa do cmd e, em seguida, inserir o comando acima, conforme mostrado abaixo:

processdEntre ye espere pacientemente pela instalação automática ~

3. Verifique se a instalação foi bem-sucedida

Podemos entrar no cmd após a instalação pythone, em seguida, inserir os dois pedaços de código na caixa vermelha. A primeira parte é importar o pacote torch, depois criar um vetor tensor 5*3 e imprimi-lo; a segunda parte é verifique se a GPU está disponível, a versão da CPU da GPU definitivamente não está disponível (você não pode fazer algo do nada, hahaha):

import torch
x = torch.rand(5, 3)
print(x)

import torch
torch.cuda.is_available()

Se você tiver um resultado semelhante ao mostrado acima, errormas não aparece, parabéns, a instalação foi bem-sucedida e você já pode executar vários modelos e códigos pré-treinados por outros ~

3.1.2 Instalar de acordo com a versão especificada (avançado)

Muitas vezes precisamos instalar a versão PyTorch de acordo com os requisitos do projeto, neste momento geralmente existem dois tipos:

1. Instale de acordo com o requisito do projeto.txt

Por exemplo, precisamos configurar o ambiente yolov5 para detecção de alvos, primeiro baixe o projeto yolov5 e depois preste atenção ao seu conteúdo requirements.txt, conforme mostrado na figura abaixo.

Entramos na pasta yolov5, abrimos o cmd, ativamos o ambiente virtual e depois entramos pip install -r requirements.txt, conforme mostrado na figura abaixo, para instalar de acordo com os requisitos do projeto.

2. Escolha a versão que você precisa instalar

Este grau de liberdade é maior. Quando você tem requisitos claros para sua versão, você pode ir diretamente para a versão histórica do pytorch para encontrar o pacote desejado. Por exemplo: se sua plataforma for Linux ou Windows, você precisará usar pip para instale seu pacote., e deseja instalar a versão CPU do pytorch, versão 1.8.1, então você pode copiá-lo diretamente pip命令, conforme mostrado abaixo:

pip install torch==1.8.1+cpu torchvision==0.9.1+cpu torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

Claro, você também pode usar o conda para instalar ou escolher instruções diferentes de acordo com a plataforma, versão do pacote, CPU ou GPU. Isso é adequado para estudantes que têm um bom conhecimento dos requisitos ambientais! Os alunos que são novos no aprendizado podem ignorá-lo primeiro. Depois de ter sido derrotado pela configuração do ambiente, você deverá ser mais claro sobre suas necessidades.

3.2 Instale a versão GPU PyTorch

Esta seção envolve principalmente três partes:

• Uma é a instalação do driver da placa gráfica, ou sejacuda
• Uma é cudnna instalação e instalação do cudatoolkit
• Há também gpu版本PyTorcha instalação, semelhante à versão da CPU, basta selecionar o comando para instalar e tudo ficará bem.

Você pode consultar meu artigo anterior para este artigo: a placa gráfica nvidia 3080 foi usada naquela época, as instruções para configurar a versão pytorch1.7.1 na plataforma Windows e o processo detalhado de instalação de 3080+pytorch1.7+ windows .