ファーウェイのクラウドサーバーがPaddlePaddle GPU環境を構築

HUAWEI CLOUDサーバーの構成

名前: GPU アクセラレーション p1.2xlarge.8
CPU：インテル E5-2690V4 2.6GHz（8コア）
GPU: NVIDIA Tesla P100 (シングルカード、16G)
メモリ: 64G
ハードディスク：ユニバーサルSSD 100G
システム: CentOS 7.3 64 ビット (P100 用) | パブリックイメージ

1 グラフィックカードドライバーのアップグレード

HUAWEI CLOUD GPU サーバーのグラフィックスカードドライバーのバージョンが比較的低いため、PaddlePaddle の現在の新しいバージョンと互換性がないため、最初にグラフィックスカードドライバーをアップグレードする必要があります。

Nvidia ドライバーのバージョンを問い合わせます:

	nvidia-smi

CUDA バージョンのクエリ:

	cat /usr/local/cuda/version.txt

すべての nvidia 関連ファイルと依存関係をクリアします。

	yum remove nvidia-*

きれいに削除しても問題ありません (目的は、nvidia-driver の関連コンポーネントをすべてクリーンアップすることです)。

	rpm -qa|grep -i nvid|sort
	yum  remove kmod-nvidia-*

ドライバーをアンインストールした後は、必ず再起動してください。

	sudo reboot

指定されたドライバーバージョンファイルを公式 Web サイト (NVIDIA-Linux-x86_64-440.118.02.run) からダウンロードし、インストールを実行します。

	sh NVIDIA-Linux-x86_64-440.118.02.run

次に、プロンプトボックスの指示に従って [ok] まで進み、最後に nvidia-smi を使用してアップグレードが成功したかどうかを確認します。

2 アナコンダをインストールする

Anaconda は、複数の Python 環境をセットアップできる、一般的に使用される Python パッケージ管理プログラムです。

Anaconda インストールスクリプトをダウンロードする

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh --no-check-certificate

ダウンロードが完了したら、インストールを実行します。認証を読むように求められますので、Enter キーを押し続けてください。

sh Anaconda3-2021.05-Linux-x86_64.sh

次に、同意するかどうかを尋ねられます。「はい」と入力します。
インストールプロセス中にインストール場所について尋ねられます。通常は変更する必要はありません。Enter キーを押すだけで自動的に解凍されます。最後に、Anaconda の一部の構成を初期化するかどうかを尋ねられます。「はい」と入力することを忘れないでください
。

インストール後、Anaconda を環境変数に設定すると、ショートカットの conda コマンドを使用できるようになります。

vim ~/.bashrc #编辑环境配置文件
export PATH="~/anaconda3/bin:$PATH" # 在第一行加入这个

vim で「i」と入力して編集し、編集後に Esc キーを押して、「wq」と入力して変更を保存します。

保存後、環境変数を更新し、コマンドラインに次のように入力します。

source ~/.bash_profile

最後に、設定が成功したかどうかを確認し、保存されていなければ、設定は成功しています。

インストール後、python3.8環境を作成し、コマンドを実行すると確認が表示されるのでyを入力してEnterを押します

conda create --name paddle_env python=3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

paddle_env 環境をアクティブ化する

conda activate paddle_env

3 gitをインストールする

多くの場合、パドルウェアハウスからコードをダウンロードする必要があるため、git を使用する必要があり、最初に git 環境をインストールする必要があります。

3.1 ダウンロード

ダウンロードするディレクトリに移動します

cd /usr/local

wegコマンドでダウンロード

wget https://www.kernel.org/pub/software/scm/git/git-2.19.2.tar.gz

3.2 減圧

ダウンロードしたディレクトリを /usr/local ディレクトリに解凍します。

tar -xzvf git-2.19.2.tar.gz -C /usr/local

3.3 インストール

解凍した git ディレクトリを入力します

cd /usr/local/git-2.19.2

メイクコンフィギュレーションを実行する

make configure

注: このコマンドを実行すると、エラーが開始され、次のようなエラーが発生します: エラー
メッセージ 1:
configure: lib を 'lib' (デフォルト) に設定します configure :
Will try -pthread then -lpthread to enable POSIX Threads. configure: CHECKS for
siteconfigaking
for gcc… no
check for cc… no
check for cl.exe… no
configure: error : in /opt/git-2.19.0': configure: error: no acceptable C compiler found in $PATH See config.log' for more more
解決策: yum プロバイダー gcc および yum プロバイダー cc を介してクエリします。 C コンパイラがインストールされていないことを確認し、yum -y install gcc を実行して gcc パッケージとその対応する依存関係をインストールできます。

エラーメッセージ 2:
GIT_VERSION = 2.19.2
GEN configure
bin/sh: autoconf: Command not found
make: ***[configure] Error 127
解決策: yum プロバイダー autoconf を通じて autoconf がインストールされていないことを問い合わせます。yum -y install autoconf を実行してパッケージと対応する依存関係をインストールできます。

構成ディレクトリ

./configure --prefix=/usr/local/git

make profix=/usr/local/git を実行し、コンパイルが完了するまで待ちます。

make profix=/usr/local/git

注: このコマンドを実行すると、エラーが開始され、エラーは次のとおりです: エラー
メッセージ 1:
* 新しいビルドフラグ
CC credential-store.o
In file added from credential-store.c:1:0: cache.h:
20:18: Fatal error: zlib.h: No such file or directory
#include <zlib.h>
Compilation completed.
make: *** [credential-store.o] エラー 1
解決策: zlib ライブラリが見つかりません。s を使用してくださいudo yum install zlib-devel を実行して、パッケージと対応する依存関係をインストールします。

make installを実行してインストールします

make install

3.4 環境変数の追加

echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile   //使修改的文件生效

3.5 バージョンの確認

git --version

git version 2.19.2 と表示されれば、インストールが成功したことがわかります。

4 PaddlePaddleをインストールする

PaddlePaddle は、Baidu のオープンソースの深層学習フレームワークです
PaddlePaddle 公式 Web サイト: https://www.paddlepaddle.org.cn

インストール時に独自のサーバー構成に従って、対応するインストールスクリプトを選択します。
国内サーバーがAnacondaの公式ソースにアクセスするのは非常に遅い場合があるため、ここで清華社のミラーソースを設定できます

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

Paddle の GPU バージョンのインストールを開始します。入力確認もあります。y を入力して Enter キーを押すだけです。ここでのインストールには長い時間がかかります

conda install paddlepaddle-gpu==2.3.0 cudatoolkit=10.2 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/

PaddlePaddle をインストールした後、PaddleOCR、PaddleClas などの他のインストールを開始できます。