要約: この記事では、CPUバージョンのMindSporeV1.0をUbuntu18.04にインストールする方法について説明します。そして、インストールされたMindSporeを使用してLeNetモデルトレーニングを実施しました。
パート1:はじめに
HC2020会議で、ZhangXiaobaiはMindSporeV1.0を試してみたいという彼の願望を明らかにしました。MindSporeは、Huaweiによって開発された深層学習のためのオープンソースフレームワークです。今日、この願いが実現されます。。。
遊び方を分析してみましょう。。。公式ウェブサイトhttps://www.mindspore.cn/installの紹介文書を見てみましょう:
MindSporeV1.0を体験する方法はN通りあります
公式ドキュメントも非常に優れており、オプションが提供され、プレイ方法が説明されています。。。
まず第一に、ハードウェアプラットフォームはAscend910であり、ほとんどの人はそれを選択しません。これは、HuaweiのAscendサーバーを購入してプレイする必要がある人向けです。また、張暁白のアトラス200DKは再生できません。。それはAscend310チップだからです。。ただし、ModelArtsでこの環境を選択できます。ただし、ModelArtsでは、これらの環境はすべて組み込みです。実際、ユーザーはインストールやトスの楽しさを体験できません。(私たちのモットーは-私は投げます、私は幸せです)。
第二に、ハードウェアプラットフォームはGPU CUDAであり、優れたグラフィックカードを持っている人が使用できます。良いグラフィックカードとは何ですか。例を挙げる。最近発売されるGeForceRTX 3080グラフィックカード、
または、ハイエンドの3090グラフィックカード:
これらのカードを使用してAIトレーニングを実行し、MindSporeを実行します。問題はない可能性があります。。。そうしないと、遅く感じるかもしれません。。。もちろん、張暁白はこれらの優れたグラフィックカードを持っていません。。。したがって、次善の策はCPU方式を選択することです。。。
CPUを選択した後は、選択できるオペレーティングシステムは多くありません。。。含む:
(1)ubuntu aarch64、これはARMチップを備えたubuntuシステムであり、通常はKunpeng関連のサーバーです。。。もちろん、200DKオペレーティングシステムもこのシステムです。Zhang XiaobaiにはKunpengデスクトップまたはラップトップがありますか?明らかにありません。もちろん、HuaweiまたはHonorがこのモデルのノートブックをすぐに発売することを願っています。。ユーザーに試してもらうことができます。。。
(2)ubuntu x86、これはx86チップを備えたubuntuシステムです。この範囲は拡張できます。ネイティブubuntuシステムをデスクトップまたはラップトップ(デュアルブートなど)に直接インストールするか、仮想化ソフトウェアを使用してubuntu仮想マシンをインストールすることができます。これは、この記事のオペレーティングシステムです。
(3)windows x64、これは非常に単純で、x86チップのwindowsシステムです(ただし、64ビットが必要です。実際、以前のものはすべて64ビットです...)。たとえば、windows10などです。デスクトップまたはラップトップでこれを試すことができます。Windowsの利点は、cpuモードを選択できるだけでなく、優れたグラフィックカードがあれば、gpuモードも選択できることです。しかし、明らかに張暁白は地元の暴君ではありません。実際、多くの人がウィンドウズ体験を試しました。今のところここで言うまでもありません。
以下を見てみましょう。Pythonのバージョンは3.7.5である必要があり、これを選択する方法はありません。
インストール方法には、PipとSourceの2つがあります。もちろん、Pipのインストール方法はもっと速いはずです。ソースはソースのインストールを意味します。実際、Zhang Xiaobaiはまだこの方法を検討しており、結果が得られるかどうかはわかりません。。。
そこで、今回はMindSporeV1.0のインストール方法としてバージョン1.0.0+ハードウェアCPU +オペレーティングシステムUbuntu-X86 + Python3.7.5 +インストール方法pipを使用しましょう。。
システムインストールの環境要件は、前のリンクで説明されています。
required.txtの内容は次のとおりです。
numpy >= 1.17.0, <= 1.17.5
protobuf >= 3.8.0
asttokens >= 1.1.13
pillow >= 6.2.0
scipy >= 1.3.3
easydict >= 1.9
sympy >= 1.4
cffi >= 1.13.2
wheel >= 0.32.0
decorator >= 4.4.0
setuptools >= 40.8.0
matplotlib >= 3.1.3 # for ut test
opencv-python >= 4.1.2.30 # for ut test
sklearn >= 0.0 # for st test
pandas >= 1.0.2 # for ut test
bs4
astunparse
packaging >= 20.0
パート2:Ubuntu18.04仮想マシンをインストールする
まず、http://old-releases.ubuntu.com/releases/bionic/にアクセスして、18.04イメージをダウンロードします。。
http://old-releases.ubuntu.com/releases/bionic/ubuntu-18.04.1-desktop-amd64.isoを見つけてダウンロードします
VMWareを使用してインストールし、[Easy Installation]を選択して、最後まで実行し(メモリを4Gに変更)、スムーズに完了します。
ascend userでログインします:(インストール時に選択したユーザー名)
システムに入り、Ubuntuを助けないことを忘れないでください。。
どちらもアップグレードしないでください。
国内のAliソースを置き換えます。
sudo cp /etc/apt/sources.list /etc/apt/source.list.bk
vi /etc/apt/sources.list
既存のすべてのデブに注釈を付ける
以下に貼り付けます。
# 阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
保存して終了。
sudo apt update
sudo apt-get update
sudo apt-get install aptitude
パート3:Python3.7.5をインストールする
3.7.5はpythonの公式ウェブサイトには表示されなくなったため、ソースからのインストールのみを選択できると推定されています 。。
幸い、HuaweiCloudのミラーステーションにはhttps://mirrors.huaweicloud.com/python/があります。
アドレスをコピーし、新しいターミナルを開いてダウンロードします。。。
wget https://mirrors.huaweicloud.com/python/3.7.5/Python-3.7.5.tar.xz
解凍:
xz -d Python-3.7.5.tar.xz
tar xvf Python-3.7.5.tar
。。。。
Pythonは、ソースコードパッケージをインストールして取得します。
ソースコードをコンパイルするために、gccやg ++のインストールなどの準備を行います。
sudo aptitude install gcc
終わりを辛抱強く待ちます:
sudo apt install gcc
sudo apt-get install g ++
コンパイラが完了したら、python依存関係パッケージをインストールします。
sudo apt-get install -y build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev
。。。。
Python-3.7.5を正式にコンパイルしてインストールします
Python-3.7.5ディレクトリに切り替えます
sudo ./configure --enable-optimizations --prefix = / usr / python3
/ usr / python3ディレクトリに配置するインストール済みのpythonを指定します。
。。。。
sudo make
辛抱強く待ちます。。。
実行するテストは400以上あります。。
辛抱強く待ち続けます。。。
次に、展開します。。
sudo make install
インストールディレクトリに切り替えて、バージョンを確認します。
/ etc / profileに/ usr / python3 / binのPATHを追加して実行し、どこでもpython3.7.5を最初に実行できるようにします。
さて、Python3.7.5ソースコードがコンパイルされます。
パート4:PIPインストールMindSpore
最後に、MindSporeのインストールプロセスに入ることができます。
3.7.5環境でpipの下に確実にインストールされるようにするには、
python3 -m pip installhttps://ms-release.obs.cn-north-4.myhuaweicloud.com/1.0.0/MindSpore/cpu/ubuntu_x86/mindspore-1.0.0-cp37-cp37m-linux_x86_64.whlを実行し ます
もちろん。。一部の問題は正常と見なされます。。
デコレータのインストール時に権限の問題があるようです。
次に、rootユーザーのインストールに切り替えましょう。。。
python3 -m pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.0.0/MindSpore/cpu/ubuntu_x86/mindspore-1.0.0-cp37-cp37m-linux_x86_64.whl
インストールはエラーなしで数秒で完了しました。
次に、pythonと入力して、インストール結果を確認します。
MindSporeをインストールするPIPのプロセスは本当に簡単です。
パート5:LENETトレーニングにMindsporeを使用する
まず、mindspore giteeの公式ウェブサイトにアクセスして、lenetの関連サンプルコードをダウンロードします。
https://gitee.com/mindspore/mindspore/tree/master/model_zoo/official/cv/lenet
次に、http ://yann.lecun.com/exdb/mnist/Webページを開きます 。
ローカルへのリンクにある4つのファイルをダウンロードし、前にダウンロードしたlenetの下に新しく作成されたMNIST_DATAディレクトリに配置します。
そして、winrarで解凍し、trainとt10kで始まるファイルをそれぞれtrainディレクトリとtestディレクトリに配置します。
次に、これらのコードをlenet.zipにパッケージ化し、scpツール(Xftp 6など)を使用して、ubuntu18.04に転送します。
次に、unziplenet.zipを実行して解凍します。
これらのファイルはubuntuの下にあります。
もちろん、これらのプロセスはubuntuで直接実行することもできます。。たとえば、wgetを使用してトレーニングセットファイルなどを直接ダウンロードします。
それでは、安全のため、とりあえずrootを使いましょう。。(ascendユーザーに権限の問題が発生するのではないかと心配しています...)
cd / home / ascend / lenet /
vi train.py
device_targetのデフォルトをCPUに変更します。data_pathをMNIST_DATAディレクトリに設定します。残りは当分の間変更されません:
次に、トレーニングの実行を開始します。。。
python3 train.py
しばらくして終わりました。。。
また、一部のファイルはckptで生成されます。。。
上位ディレクトリに戻り、以下を実行します。
python3 eval.py --ckpt_path = ./ ckpt / checkpoint_lenet-10_1875.ckpt
検証は成功し、モデルの精度は98.7580%です。。。
これは、mindsporeを使用してlenetを実行すると、これらのルーチンが比較的スムーズであることを示しています。
参考資料:
(1)[乾物共有] Mindspore1.0 初体験 https://bbs.huaweicloud.com/forum/thread-80567-1-1.html@JeffDing
(2)[乾物共有] Experience MindSpore v1.0(1)- インストールhttps://bbs.huaweicloud.com/forum/thread-80509-1-1.html @Tianyi_Li