Ubuntu は Pytorch 環境 (Anaconda、Cuda、cuDNN、Pytorch、Python、Pycharm、Jupyter) を構築します。
1. ミラーソースを構成し、必要な環境をインストールします
1. Ubuntu のバージョン番号を確認しcat /etc/issue
、バージョン番号に応じて対応するミラー ソースを追加します
。 2. ミラー ソースをバックアップします。sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
3. Alibaba Cloud の公式 Web サイトで、バージョン番号に対応する Alibaba ミラー ソースを見つけてコピーします。ミラーソース:
または、清華画像ソースの公式 Web サイトで、バージョン番号に対応する清華画像ソースを見つけてコピーします。
4. ソフトウェア ソース構成ファイルを編集します。sudo vi /etc/apt/sources.list
ファイル内の内容を Ali ミラー ソースまたは清華ミラー ソースに置き換えます
。 5. ソフトウェア ソースを更新します。sudo apt-get update
6. ソフトウェアをコンパイルおよびビルドするためのツール ライブラリをインストールします。sudo apt-get install build-essential
2. Anacondaのダウンロード、インストール、アンインストールと環境設定
1.アナコンダをダウンロードする
Anaconda 公式 Web サイトにアクセスし、Linux バージョンの anaconda (ファイル末尾が .sh) をダウンロードします。
2.アナコンダをインストールする
1. ファイルを Ubuntu にコピーし、対応する場所にコマンドを入力してsh 文件名.sh
インストールします (root ユーザーでインストールすることをお勧めします)。
2. [はい]と[いいえ]を選択するページが表示されるまでENTERキーを押し続け、キーボードで「yes」と入力します。
3. インストール場所を選択し、インストールする場所を入力します (注: /usr/local、/opt、/home など、一般ユーザーがアクセスできるディレクトリに anaconda をインストールするのが最善です。そうしないと、一般ユーザーはアクセスできない可能性があります)普通に使えます)
root アカウントで anaconda のみを使用する必要がある場合は、ENTER キーを押してデフォルトの場所を選択するだけです。デフォルトのパス/root/anaconda3にインストールしました。
4. conda 環境を初期化します。環境を自動的に構成するにはキーボードで「yes」と入力し、後で構成環境をカスタマイズするにはキーボードで「no」と入力します。
3.Anacondaの環境設定
1. Anaconda のインストール場所を見つけます。デフォルトのインストールを求めるプロンプトが表示されますが、通常は home/username/anaconda3 です。今回は /root/anaconda3 にインストールしました。 2. 環境変数を入力して編集
しvi ~/.bashrc
、次の内容:
export PATH="/自己对应的路径名/anaconda3/bin:$PATH"
ここに対応するパス名を書き込みます。私の場合は、export PATH="/root/anaconda3/bin:$PATH" です。
3. 変更したコンテンツをアクティブ化します。source ~/.bashrc
4. 設定が成功したかどうかをテストします。 input conda
、「not fond」と表示されない場合、anaconda のインストールと設定が成功したことを意味します。
4. 一般ユーザー/スーパーユーザーに Anaconda の使用許可を与える
root ユーザーまたは一般ユーザーのどちらにインストールするかに関係なく、/usr/local、/opt、/home などの一般ユーザーがアクセスできるディレクトリに anaconda をインストールするのが最善です。そうしないと、一般ユーザーは anaconda を使用できません。
(1) root ユーザー配下にインストールした anaconda は、一般ユーザーに anaconda の使用許可を与えたい
例えば、インストール場所を /opt/anaconda3 として、一般ユーザー直下で実行し、/opt/anaconda3/bin/conda init bash
テストを実行しますconda env list
(
2) Anaconda通常のユーザーでインストールされているため、スーパー ユーザー (root) に anaconda を使用する権限を与えたい
たとえば、インストール場所は /home/xxx/anaconda3 で、root ユーザーの直下で実行して/home/xxx/anaconda3/bin/conda init bash
、conda env list
テストを実行します。
5.Anacondaをアンインストールする
/root、/home/root など、通常のユーザーがアクセスできないディレクトリに誤って anaconda をインストールした場合は、anaconda をアンインストールして再インストールできます。
(1) インストール ディレクトリを削除します。rm -rf /root/anaconda3
(2) 環境変数ファイルを編集しvi ~/.bashrc
、コメントを付けるか、anaconda3 のパスを削除します
。 (3) 変更した環境変数をすぐに有効にします。source ~/.bashrc
3. グラフィックス カード ドライバー、Cuda、cuDNN のインストール (GPU バージョンの場合はオプション)
ホストにグラフィックス カードが搭載されている場合は、Cuda をインストールして GPU を使用したモデル トレーニングを高速化できます。
1. グラフィックス カード ハードウェアに対応するドライバーをインストールします
Ubuntu 物理マシンにグラフィックス カード ドライバーをインストールするいくつかの方法を参照して、グラフィックス カード ドライバーをインストールします。
入力してnvidia-smi
、必要な cuda バージョン番号を確認します。私のバージョンは 12.1 です。
2.グラフィックスカードドライバーのバージョンに対応したcudaをダウンロードします。
nvidia 公式 Web サイトを開き、対応するバージョンのリンクをクリックしてダウンロード インターフェイスに入り (私のものは 12.1、12.1 の任意のバージョンを選択できます)、上記で生成されたコマンドをコピーし、コマンドの最初の行を実行して cuda をダウンロードします
。
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
3.cudaのインストール
ダウンロードが完了したら、chmod 777 【下载的sh文件】
実行許可を実行し、コマンドの 2 行目を実行して cuda をインストールします。
sudo sh cuda_12.1.0_530.30.02_linux.run
(1) 次のインターフェイスが表示されたら、[続行] を選択して続行します
(2) 次のインターフェイスが表示され、「accept」
と入力します (3) 次のインターフェイスが表示されます。Enter キーを押してドライバーのチェックを外し (グラフィックス カード ドライバーはすでにインストールされています)、[インストール] をクリックして他のコンポーネントのインストール
インストールが完了すると、次のパスが表示され、
同時にインストール ディレクトリに /cuda-version 番号を指す /cuda リンクが自動的に生成されます。
4.cuda環境変数の設定
4.1sudo vi ~/.bashrc
環境変数を変更するコマンドを入力します。
自分の anaconda3 のパス名に従って、ファイルの最後に次の 4 行を追加します。
export PATH="/anaconda3的路径名/anaconda3/bin:$PATH"
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
4.2source ~/.bashrc
コマンドを入力して、変更したばかりのコンテンツをアクティブ化します。
4.3 次のコマンドを入力して、cuda が正常にインストールされているかどうかをテストします。
nvcc -V
cd /usr/local/cuda/extras/demo_suite/
./bandwidthTest
結果= PASS成功
5.cudaのアンインストール
5.1 cuda インストール ディレクトリに移動し、アンインストールに関連するファイルを見つけて、アンインストール コマンドを実行します。sudo /usr/local/cuda-12.1/bin/cuda-uninstaller
5.2 アンインストールする cuda バージョンのすべてのコンポーネントを確認します
。 5.3 アンインストールが成功したら、関連するファイルを削除します。
5.4 関連する環境変数を削除します
。sudo vi ~/.bashrc
一番下のcuda関連を削除するには、source ~/.bashrc
再活性化環境変数設定を実行してください
6. cudaのバージョンに対応したcuDNNをダウンロードする
nvidia 公式 Web サイトを開き、対応するバージョンのリンクをクリックしてダウンロード インターフェイスに入ります (私の cuda バージョンは 12.1 です。cuDNN 12.x の任意のバージョンを選択できます。tar パッケージを使用することをお勧めします)。ダウンロードには登録とログが必要です。 nvidia アカウントに (自分で Baidu)
ダウンロードしたファイルを Ubuntu システムにコピーし、次の解凍コマンドを実行します。
unxz cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar.xz
tar -vxf cudnn-linux-x86_64-8.9.0.131_cuda12-archive.tar
7.cuDNNのインストール
解凍したディレクトリに移動し、ターミナルを開き、次のコマンドを入力します。
sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
実行が完了したら、次のコマンドを入力して、cuDNN が正常にインストールされたことを確認します。
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
このプロンプト メッセージは、このファイルは C 言語に限定されているため、constexpr キーワードはこのファイルでは使用できないことを意味します。
8. cuDNNのアンインストール
tar パッケージを通じてインストールされた cudnn の場合は、次のコマンドを使用して、cuda インストール ディレクトリにコピーされた cudnn 関連のファイルを削除します。
sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*
4.Anaconda仮想環境の作成
1. Anaconda の共通コマンド: 環境の表示、作成、削除
(1) インストールされている anaconda のバージョンを表示します: conda --version
(2) インストールされている環境を表示します (アスタリスクが付いている環境は現在使用中の環境を示します): ( conda env list
3) 対応する仮想環境をアクティブ化します (環境に入ります): source activate envone(环境名)
(4)デフォルトの仮想環境 環境 (ベース環境): source activate
(5) 現在の conda 環境を終了します: conda deactivate
(6) 環境を削除します: conda remove -n envone(环境名) –all
(7) conda 環境を削除します: conda uninstall -n envone(环境名) --all
(8) 必要なパッケージを環境にインストールします: pip install xxx
(9) インストールされているパッケージを確認しますパッケージ:pip list
2. pytorchディープラーニングフレームワークを構築するためのaiスペースを作成する
anaconda を使用して環境をインストールした後は、ローカルのデフォルト環境がベース環境になります。
(1) ai という名前のスペースを作成します。conda create -n ai
(2) ai スペース (仮想環境) に入ります。conda activate ai
5.Pytorch環境を構築する
1. コマンドを通じて作成した AI 空間に入ります。source activate ai
2. pytorch 公式 Web サイトに入り、対応するバージョンの pytorch をダウンロードします。
- pytorchのバージョンを選択します
- 対応するオペレーティング システムを選択します
- 使用するインストールを選択します。pip を使用して conda にインストールできます
- プログラミング言語として Python を選択します
- cuda バージョンを選択します: 私のバージョンは 12.1 です。pytorch 公式 Web サイトは現在 11.8 Cuda のみをサポートしていますが、コミュニティはそれがより上位のバージョンの Cuda と互換性があることを明確に示しています。
3. 上記で生成したコマンドをai空間で実行します。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
警告: pip を「root」ユーザーとして実行すると、
アクセス許可が失われ、システム パッケージ マネージャーと競合する動作が発生する可能性があります。
代わりに仮想環境を使用することをお勧めします: https://pip.pypa.io/warnings/venv 警告: pip の最新バージョンを
チェック中にエラーが発生しました。
上記の警告メッセージは、pip を「root」ユーザーとして実行すると、アクセス許可が失われ、システム パッケージ マネージャーの動作と競合する可能性があることを意味します。
6. 関連する依存ライブラリのインストール方法
1. 公式 Web サイトのコマンドを使用して、必要な依存ライブラリをインストールします。
(1) anaconda公式サイトに入り、インストールするライブラリ名を検索(登録、ログインは不要)
(2) 必要なバージョンを選択
(3) 公式サイト上のインストールコマンドをコピー
(4) 実行source activate ai
ai仮想環境に入り、上記でコピーしたインストールコマンドを実行します。( conda install -c pytorch-lts pytorch
5) Pythonにログインしてimport torch
成功したかどうかの検証を実行します
2. condaとpipのミラーアクセラレーション設定
ダウンロードとインストールの速度を向上させるために、conda ソースと pip ソースを国内ソースに変更します。
2.1 conda ソースを変更します
。 ~/.condarc ファイルを変更します。sudo vi ~/.condarc
、ファイルの内容を次のように変更します。
channels:
- defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
Tsinghua の conda ソースが使用できない場合は、代わりに送信されたソースを使用できます。
channels:
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/
- https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
2.2 pip ソースを変更する
参考: Linux および Windows の pip ミラー ソースを設定する、最も実用的な環境のダウンロード アクセラレーション設定 ——[読んで理解]
Enter を押しconda deactivate
て仮想環境を閉じ、ターミナル インターフェイスに戻ります
pip ツールを更新します: pip install --upgrade pip
pip ソースを設定します:pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
3. 一般的な深層学習依存関係ライブラリをインストールする
次の conda コマンドを実行して、該当するバージョンと関連する依存ライブラリの関連依存関係を自動的に検索、ダウンロード、インストールします。
(1) opencv ライブラリをインストールします (このライブラリは画像処理に使用されます) コマンド: conda install opencv
(2) torchvision ライブラリをインストールします (このライブラリは高度な事前トレーニング モデルをダウンロードしてトレーニングするために使用されます) コマンド: (3) conda install torchvision
torch ライブラリをインストールします (このライブラリは深層学習に使用されます。タスクでニューラル ネットワーク モデルを構築、トレーニング、展開します) コマンド: conda install torch
(4) cv2 ライブラリをインストールします (このライブラリは、コンピュータ ビジョンと画像処理で多くの機能とツールを提供します): (5 conda install -c necla-ml opencv-python
) tensorboardx ライブラリ (このライブラリは、ニューラル ネットワークのトレーニング プロセスと結果を分析するための視覚化とツールを提供します):conda install -c conda-forge tensorboardx
4. 依存ライブラリをインストールする際の一般的な問題
質問 1: 依存ライブラリのインストール時に「PackagesNotFoundError」エラーが表示される
Conda または同様のパッケージ マネージャーの使用時に「PackagesNotFoundError」エラーが発生した場合は、目的のパッケージまたはパッケージのバージョンが現在構成されているソフトウェア ソース チャネルにないことを示している可能性があります。この問題を解決するには、 https://blog.csdn.net/weixin_45552562/article/details/109668589を参照してください。次のコマンドを実行してソフトウェア ソース情報を更新します。 をconda update --all
再実行しますconda install torch
。それでもエラーが発生する場合は、エラー プロンプトに従い、6.1 を参照して公式 Web サイトで対応するコマンドを見つけてインストールします。
7. Python環境の説明とPycharm、Jupyterツールのインストール
1.Python 環境の手順では、Ubuntu ではシステム Python、anaconda では Pythonを参照できます。
2. Pycharm ツールのインストールは、 PyCharm をインストールするための Ubuntu 16.04を参照できます
(1) PyCharm 公式 Web サイトからインストール パッケージをダウンロードします(コミュニティ版は無料です)
(2)tar -zxvf pycharm-community-2022.3.2.tar.gz
コマンドを実行してインストール パッケージを解凍します
(3) インストール パッケージの bin ディレクトリに入りますソフトウェアの場合、コマンドを実行してsh ./pycharm.sh
Pycharm を開きます
(4) 一般ユーザー権限の問題
エラー メッセージが一般ユーザー権限に関するものである場合は、関連するファイルの所有者を変更してみてください。
sudo chown ownername:groupname /path/to/directory
上記のコマンドでは、「ownername」は指定された新しい所有者のユーザー名、「groupname」は指定された新しい所有グループのグループ名、「/path/to/directory」は変更するディレクトリへのパスです。
3. Anaconda には独自の Jupyter ツールがあり、次のコマンドで開くことができます。jupyterチュートリアルjupyter notebook
を参照してください。