ディープラーニングリモートサーバー構成

ディープラーニングリモートサーバー構成

  ディープラーニングの科学研究タスクでは、GPUとビデオメモリを使用して多くのモデルを実行します。パーソナルコンピュータの構成が制限されている場合、通常、ユニットによって提供されるより高い計算能力とより優れたパフォーマンスを備えたサーバーで大規模なモデルコードを実行します。 。もちろん、サーバーを正式に使用する前に、サーバー管理者から個人アカウントを申請してから、自分の作業ディレクトリでディープラーニング環境を構成する必要があります。

1.サーバーにAnacondaをインストールします

  ディープラーニング用にPython環境を構成するときは、通常、Anacondaパッケージ管理ツール（Pythonと多くのモジュールに付属）を使用します。このツールは、清華大学のミラーWebサイトhttps://repo.anaconda.com/archive/indexからダウンロードできます。 html対応するバージョンのAnacondaをインストールします。

ほとんどのサーバーはLinuxオペレーティングシステムであるため、2020.11でリリースされたAnaconda3-2020.11-Linux-x86_64.shがここにインストールされるように選択され、ソフトウェアパッケージがソフトウェア転送ツールを介してサーバーの個人ディレクトリに送信されます（ Xftp5をお勧めします）。

ターミナルコマンドの下にインストール手順を入力します。bash Anaconda3-2020.11-Linux-x86_64.sh

もちろん、bashコマンドを使用して直接ダウンロードしてインストールすることもできます。

• ダウンロード：wget https://repo.continuum.io/archive/+下载的Anaconda版本;
• インストール：bash 下载的Anaconda版本

wget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh
bash Anaconda3-2020.11-Linux-x86_64.sh

PATH環境変数を構成します。ターミナルでコマンドを入力して、環境vi .bashrcを構成します。

追加：ファイルの最後に、これがexport PATH=/home/trainingl/anaconda3/bin:$PATH私の実際のインストールパスであることに注意してください。/home/trainingl/anaconda3/bin

環境をテストしてバージョンを確認する：Anacondaがサーバーにインストールされたら、ターミナルにpythonと入力して、現在のバージョンを確認できます。

2.清華ミラーソースを構成します

  Linuxオペレーティングシステムをサーバー環境で使用する場合、ローカルで利用できないパッケージを大量にダウンロードすることは避けられませんが、Linuxで使用されるダウンロードソースサーバーは海外にあり、ダウンロード速度は中国よりもはるかに遅くなります。 .AlibabaCloudやTencentCloudなどの国内サーバーメーカーが毎日使用されています。ミラーソースはデフォルトで独自の関連ミラーソースになっているため、アプリケーションのダウンロード速度は非常に高速です。ここでは、構成に清華ミラーソースを選択しました。

清華画像パッケージ管理の追加[順次実行]：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

追加されたソースを表示する：conda config --show-sources

3.仮想環境を作成および管理します

まず、仮想環境を作成する必要がある理由を理解する必要がありますか？仮想環境の概念は何ですか？

  実際の科学研究の背景から、私たちは多くの異なるタスクに直面する可能性があり、これらのタスクはPython環境に対して一貫性のない要件を持ち、一部のパッケージまたはライブラリは競合するバージョンを持っている可能性があります。たとえば、PyTorchはディープラーニングタスクに使用されることがあります。が使用されることもありますが、これら2つのライブラリが2つの別々のPython環境で実行できることを願っています。そのため、Anacondaは仮想環境用のパッケージ管理ツールをリリースしました。condaコマンドを使用してenvディレクトリにさまざまな仮想環境を作成できます。これらの仮想環境は、さまざまなタスクに適したPythonパッケージまたはモジュールをインストールできます。これらの環境は切り替え可能であり、自由に使用できます。競合が発生します。

1.現在のシステムのすべてのconda環境を表示します。conda env list

結果から、2つの仮想環境があることがわかります。その中には、ベースが基本環境であり、Anacondaをインストールすることによって自動的に生成される基本環境であり、もう1つの名前付きトレインが私が作成した仮想環境です。

2.仮想環境を作成します。conda create -n envName python=3.7

説明：仮想環境のインストール時に、いくつかの基本的なライブラリファイルがインストールされます。

3.仮想環境をアクティブ化します。source activate envName

4.仮想環境を終了します。source activate

注：仮想環境を直接終了するときに、nameパラメーターを追加しないでくださいsource activate。

5.仮想環境を削除します。conda remove -n your_env_name(虚拟环境名称) --all

6.仮想環境で不要なパッケージを削除します。conda remove --name your_env_name package_name

7.既存の仮想環境に入り、インストールされているパッケージを確認します。conda list

4.PyTorchディープラーニングフレームワークをインストールします

  PyTorchディープラーニングフレームワークをインストールするときは、最初に現在のサーバーのCUDAバージョンを知る必要があります。もちろん、サーバーのCPU環境では見つからないため、ユーザーはGPU環境に切り替える必要があります。通常、学校のサーバーには複数のグラフィックカードがありますが、に応じて対応するGPU環境に入る必要があります。グラフィックカードの使用権、および現在のCUDAバージョンをnvcc -V表示入力します。

現在のCUDAバージョンは9.0であることがわかります。PyGが後でインストールされることを考慮して、ここではPyTorch1.7.1とCUDA10.1をインストールしました。バージョンに応じて、 PyTorchの公式Webサイトで対応するインストールコマンドを見つけます。

注：対応するバージョンのPyTorchをインストールするときは、必ず対応する仮想環境に切り替えてください。また、一部のスクールサーバーはCPU環境でのみインターネットに接続できますが、GPU環境は非ネットワーク環境、つまりコンピューティングにのみ使用されるため、GPU環境でCUDAバージョンをnvcc -V確認、時間内にCPU環境に切り替えます。

インストールが成功したかどうかをテストするには、長い待機時間がかかります。CPUをGPU環境に切り替え、 GPU環境に入るには、テストのためにトーチがインストールされている仮想環境に入る必要があります。

import torch
print(torch.cuda.is_available())

pytorch 1.7が正常にインストールされ、CUDAを正常に使用できることがわかります。