Konfiguration des Remote-Servers für Deep Learning

Konfiguration des Remote-Servers für Deep Learning

  In den wissenschaftlichen Forschungsaufgaben des Deep Learning werden GPU und Videospeicher zum Ausführen vieler Modelle verwendet.Wenn die Konfiguration von Personal Computern begrenzt ist, führen wir in der Regel umfangreiche Modellcodes auf Servern mit höherer Rechenleistung und besserer Leistung aus, die von der Einheit bereitgestellt werden . Bevor Sie den Server offiziell nutzen, müssen Sie natürlich ein persönliches Konto beim Serveradministrator beantragen und dann die Deep-Learning-Umgebung in Ihrem eigenen Arbeitsverzeichnis konfigurieren.

1. Installieren Sie Anaconda auf dem Server

  Wenn wir die Python-Umgebung für Deep Learning konfigurieren, verwenden wir im Allgemeinen das Anaconda-Paketverwaltungstool (das mit Python und vielen Modulen geliefert wird), das von Tsinghuas Mirror-Website https://repo.anaconda.com/archive/index heruntergeladen werden kann. html Installieren Sie die entsprechende Version von Anaconda.

Da es sich bei den meisten Servern um Linux-Betriebssysteme handelt, wird die in 2020.11 veröffentlichte Anaconda3-2020.11-Linux-x86_64.sh ausgewählt, um hier installiert zu werden , und dann wird das Softwarepaket über ein Softwareübertragungstool an das persönliche Verzeichnis des Servers gesendet ( Xftp5 wird empfohlen).

Geben Sie die Installationsanweisungen unter dem Terminalbefehl ein:bash Anaconda3-2020.11-Linux-x86_64.sh

Natürlich können Sie auch direkt über den Bash-Befehl herunterladen und installieren:

• herunterladen: wget https://repo.continuum.io/archive/+下载的Anaconda版本;
• Installieren:bash 下载的Anaconda版本

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh

Konfigurieren Sie die PATH-Umgebungsvariable : Geben Sie den Befehl im Terminal ein, um die Umgebung vi .bashrczu konfigurieren

Fügen Sie hinzu: Beachten Sie am Ende der Datei export PATH=/home/trainingl/anaconda3/bin:$PATH, dass /home/trainingl/anaconda3/binhier mein tatsächlicher Installationspfad ist.

Testen Sie die Umgebung und überprüfen Sie die Version : Nachdem Anaconda auf dem Server installiert wurde, können Sie im Terminal python eingeben, um die aktuelle Version zu überprüfen

2. Konfigurieren Sie die Tsinghua-Spiegelquelle

  Wenn Sie das Linux-Betriebssystem in einer Serverumgebung verwenden, ist es unvermeidlich, viele Pakete herunterzuladen, die lokal nicht verfügbar sind.Der von Linux verwendete Download-Quellserver befindet sich jedoch im Ausland, und die Download-Geschwindigkeit ist viel langsamer als in China . Inländische Serverhersteller wie Alibaba Cloud und Tencent Cloud werden täglich verwendet. , die Spiegelquelle verwendet standardmäßig ihre eigene verwandte Spiegelquelle, sodass die Download-Geschwindigkeit der Anwendung bei ihrer Verwendung sehr hoch ist. Hier habe ich die Tsinghua-Mirror-Quelle zur Konfiguration gewählt.

Tsinghua-Bildpaketverwaltung hinzufügen [sequentielle Ausführung]:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

Hinzugefügte Quellen anzeigen:conda config --show-sources

3. Erstellen und verwalten Sie virtuelle Umgebungen

Zuerst müssen wir herausfinden, warum wir eine virtuelle Umgebung schaffen müssen? Was ist das Konzept der virtuellen Umgebung?

  Aus dem eigentlichen wissenschaftlichen Forschungshintergrund können wir vielen verschiedenen Aufgaben gegenüberstehen, und diese Aufgaben haben widersprüchliche Anforderungen an die Python-Umgebung, und einige Pakete oder Bibliotheken können widersprüchliche Versionen haben. Zum Beispiel wird PyTorch manchmal für Deep-Learning-Aufgaben verwendet. , und TensorFlow wird manchmal verwendet, und wir hoffen, dass diese beiden Bibliotheken in zwei separaten Python-Umgebungen ausgeführt werden können! Daher hat Anaconda ein Paketverwaltungstool für virtuelle Umgebungen auf den Markt gebracht. Wir können im env-Verzeichnis durch den conda-Befehl verschiedene virtuelle Umgebungen erstellen. Diese virtuellen Umgebungen können Python-Pakete oder -Module installieren, die für verschiedene Aufgaben geeignet sind. Diese Umgebungen können umgeschaltet und umgeschaltet werden nach Belieben verwendet werden, wird es zu Konflikten kommen.

1. Zeigen Sie alle Conda-Umgebungen des aktuellen Systems an:conda env list

Aus den Ergebnissen können wir ersehen, dass es zwei virtuelle Umgebungen gibt, von denen base eine Basisumgebung ist, die eine Basisumgebung ist, die automatisch durch die Installation von Anaconda generiert wird, und die andere namens train eine virtuelle Umgebung ist, die ich erstellt habe.

2. Erstellen Sie eine virtuelle Umgebung:conda create -n envName python=3.7

Beschreibung: Bei der Installation der virtuellen Umgebung werden einige grundlegende Bibliotheksdateien installiert.

3. Aktivieren Sie die virtuelle Umgebung:source activate envName

4. Beenden Sie die virtuelle Umgebung:source activate

Hinweis: Fügen Sie den Namensparameter nicht direkt hinzu, wenn Sie die virtuelle Umgebung verlassen source activate.

5. Löschen Sie die virtuelle Umgebung:conda remove -n your_env_name(虚拟环境名称) --all

6. Löschen Sie unnötige Pakete in der virtuellen Umgebung:conda remove --name your_env_name package_name

7. Geben Sie die vorhandene virtuelle Umgebung ein und prüfen Sie, welche Pakete installiert sind:conda list

4. Installieren Sie das Deep-Learning-Framework PyTorch

  Bei der Installation des Deep-Learning-Frameworks PyTorch müssen Sie zunächst die CUDA-Version des aktuellen Servers kennen. Natürlich ist es nicht in der CPU-Umgebung des Servers zu finden, daher muss der Benutzer in die GPU-Umgebung wechseln.In der Regel hat der Server der Schule mehrere Grafikkarten, aber Sie müssen die entsprechende GPU-Umgebung entsprechend eingeben die Nutzungsrechte der Grafikkarte und geben Sie den Befehl ein, um die aktuelle CUDA-Version nvcc -Vanzuzeigen .

Sie können sehen, dass die aktuelle CUDA-Version 9.0 ist. Da PyG später installiert wird, habe ich hier PyTorch1.7.1 und CUDA 10.1 installiert. Finden Sie den entsprechenden Installationsbefehl auf der offiziellen PyTorch-Website entsprechend der Version :

Hinweis: Stellen Sie bei der Installation der entsprechenden Version von PyTorch sicher, dass Sie in die entsprechende virtuelle Umgebung wechseln. Darüber hinaus können einige Schulserver nur in der CPU-Umgebung mit dem Internet verbunden werden, während sich die GPU-Umgebung in einer Nicht-Netzwerkumgebung befindet, dh sie wird nur zum Rechnen verwendet, also nach nvcc -VÜberprüfung , wechseln Sie rechtzeitig in die CPU-Umgebung.

Es dauert eine lange Wartezeit, um zu testen, ob die Installation erfolgreich ist. Schalten Sie die CPU auf die GPU-Umgebung um und geben Sie die GPU -Umgebung ein, um die virtuelle Umgebung zu betreten , in der Torch zum Testen installiert ist.

import torch
print(torch.cuda.is_available())

Es kann festgestellt werden, dass pytorch 1.7 erfolgreich installiert wurde und CUDA normal verwendet werden kann.