ここを見て!MindSpore V1.0(ubuntu 18.04の場合)をすばやく体験してください

要約:  この記事では、CPUバージョンのMindSporeV1.0をUbuntu18.04にインストールする方法について説明します。そして、インストールされたMindSporeを使用してLeNetモデルトレーニングを実施しました。

パート1:はじめに

HC2020会議で、ZhangXiaobaiはMindSporeV1.0を試してみたいという彼の願望を明らかにしました。MindSporeは、Huaweiによって開発された深層学習のためのオープンソースフレームワークです。今日、この願いが実現されます。

遊び方を分析してみましょう。公式ウェブサイトhttps://www.mindspore.cn/installの紹介文書を見てみましょう:

MindSporeV1.0を体験する方法はN通りあります

公式ドキュメントも非常に優れており、オプションが提供され、プレイ方法が説明されています。

まず第一に、ハードウェアプラットフォームはAscend910であり、ほとんどの人はそれを選択しません。これは、HuaweiのAscendサーバーを購入してプレイする必要がある人向けです。また、張暁白のアトラス200DKは再生できません。それはAscend310チップだからです。ただし、ModelArtsでこの環境を選択できます。ただし、ModelArtsでは、これらの環境はすべて組み込みです。実際、ユーザーはインストールやトスの楽しさを体験できません。(私たちのモットーは-私は投げます、私は幸せです)。

第二に、ハードウェアプラットフォームはGPU CUDAであり、優れたグラフィックカードを持っている人が使用できます。良いグラフィックカードとは何ですか。例を挙げる。最近発売されるGeForceRTX 3080グラフィックカード、

または、ハイエンドの3090グラフィックカード:

これらのカードを使用してAIトレーニングを実行し、MindSporeを実行します。問題はない可能性があります。そうしないと、遅く感じるかもしれません。もちろん、張暁白はこれらの優れたグラフィックカードを持っていません。したがって、次善の策はCPU方式を選択することです。

CPUを選択した後は、選択できるオペレーティングシステムは多くありません。含む:

(1)ubuntu aarch64、これはARMチップを備えたubuntuシステムであり、通常はKunpeng関連のサーバーです。もちろん、200DKオペレーティングシステムもこのシステムです。Zhang XiaobaiにはKunpengデスクトップまたはラップトップがありますか?明らかにありません。もちろん、HuaweiまたはHonorがこのモデルのノートブックをすぐに発売することを願っています。ユーザーに試してもらうことができます。

(2)ubuntu x86、これはx86チップを備えたubuntuシステムです。この範囲は拡張できます。ネイティブubuntuシステムをデスクトップまたはラップトップ(デュアルブートなど)に直接インストールするか、仮想化ソフトウェアを使用してubuntu仮想マシンをインストールすることができます。これは、この記事のオペレーティングシステムです。

(3)windows x64、これは非常に単純で、x86チップのwindowsシステムです(ただし、64ビットが必要です。実際、以前のものはすべて64ビットです...)。たとえば、windows10などです。デスクトップまたはラップトップでこれを試すことができます。Windowsの利点は、cpuモードを選択できるだけでなく、優れたグラフィックカードがあれば、gpuモードも選択できることです。しかし、明らかに張暁白は地元の暴君ではありません。実際、多くの人がウィンドウズ体験を試しました。今のところここで言うまでもありません。

以下を見てみましょう。Pythonのバージョンは3.7.5である必要があり、これを選択する方法はありません。

インストール方法には、PipとSourceの2つがあります。もちろん、Pipのインストール方法はもっと速いはずです。ソースはソースのインストールを意味します。実際、Zhang Xiaobaiはまだこの方法を検討しており、結果が得られるかどうかはわかりません。

そこで、今回はMindSporeV1.0のインストール方法としてバージョン1.0.0+ハードウェアCPU +オペレーティングシステムUbuntu-X86 + Python3.7.5 +インストール方法pipを使用しましょう。

システムインストールの環境要件は、前のリンクで説明されています。

required.txtの内容は次のとおりです。

numpy >= 1.17.0, <= 1.17.5
protobuf >= 3.8.0
asttokens >= 1.1.13
pillow >= 6.2.0
scipy >= 1.3.3
easydict >= 1.9
sympy >= 1.4
cffi >= 1.13.2
wheel >= 0.32.0
decorator >= 4.4.0
setuptools >= 40.8.0
matplotlib >= 3.1.3         # for ut test
opencv-python >= 4.1.2.30   # for ut test
sklearn >= 0.0              # for st test
pandas >= 1.0.2             # for ut test
bs4
astunparse
packaging >= 20.0

パート2:Ubuntu18.04仮想マシンをインストールする

まず、http://old-releases.ubuntu.com/releases/bionic/にアクセスして、18.04イメージをダウンロードします。

http://old-releases.ubuntu.com/releases/bionic/ubuntu-18.04.1-desktop-amd64.isoを見つけてダウンロードします

 

VMWareを使用してインストールし、[Easy Installation]を選択して、最後まで実行し(メモリを4Gに変更)、スムーズに完了します。

ascend userでログインします:(インストール時に選択したユーザー名)

システムに入り、Ubuntuを助けないことを忘れないでください。

どちらもアップグレードしないでください。

国内のAliソースを置き換えます。

sudo cp /etc/apt/sources.list /etc/apt/source.list.bk

vi /etc/apt/sources.list

既存のすべてのデブに注釈を付ける

以下に貼り付けます。

# 阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

保存して終了。

sudo apt update

sudo apt-get update

sudo apt-get install aptitude

パート3:Python3.7.5をインストールする

3.7.5はpythonの公式ウェブサイトには表示されなくなったため、ソースからのインストールのみを選択できると推定されています

幸い、HuaweiCloudのミラーステーションにはhttps://mirrors.huaweicloud.com/python/があります。

アドレスをコピーし、新しいターミナルを開いてダウンロードします。

wget https://mirrors.huaweicloud.com/python/3.7.5/Python-3.7.5.tar.xz

解凍:

xz -d Python-3.7.5.tar.xz

tar xvf Python-3.7.5.tar

。。。。

Pythonは、ソースコードパッケージをインストールして取得します。

ソースコードをコンパイルするために、gccやg ++のインストールなどの準備を行います。

sudo aptitude install gcc

終わりを辛抱強く待ちます:

sudo apt install gcc

sudo apt-get install g ++

コンパイラが完了したら、python依存関係パッケージをインストールします。

sudo apt-get install -y build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev

。。。。

Python-3.7.5を正式にコンパイルしてインストールします

Python-3.7.5ディレクトリに切り替えます

sudo ./configure --enable-optimizations --prefix = / usr / python3

/ usr / python3ディレクトリに配置するインストール済みのpythonを指定します。

。。。。

sudo make

辛抱強く待ちます。

実行するテストは400以上あります。

辛抱強く待ち続けます。

次に、展開します。

sudo make install

インストールディレクトリに切り替えて、バージョンを確認します。

/ etc / profileに/ usr / python3 / binのPATHを追加して実行し、どこでもpython3.7.5を最初に実行できるようにします。

さて、Python3.7.5ソースコードがコンパイルされます。

パート4:PIPインストールMindSpore

最後に、MindSporeのインストールプロセスに入ることができます。

3.7.5環境でpipの下に確実にインストールされるようにするには、

python3 -m pip installhttps://ms-release.obs.cn-north-4.myhuaweicloud.com/1.0.0/MindSpore/cpu/ubuntu_x86/mindspore-1.0.0-cp37-cp37m-linux_x86_64.whlを実行し ます

もちろん。一部の問題は正常と見なされます。

デコレータのインストール時に権限の問題があるようです。

次に、rootユーザーのインストールに切り替えましょう。

python3 -m pip install  https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.0.0/MindSpore/cpu/ubuntu_x86/mindspore-1.0.0-cp37-cp37m-linux_x86_64.whl

インストールはエラーなしで数秒で完了しました。

次に、pythonと入力して、インストール結果を確認します。

MindSporeをインストールするPIPのプロセスは本当に簡単です。

パート5:LENETトレーニングにMindsporeを使用する

まず、mindspore giteeの公式ウェブサイトにアクセスして、lenetの関連サンプルコードをダウンロードします。

https://gitee.com/mindspore/mindspore/tree/master/model_zoo/official/cv/lenet

次に、http  ://yann.lecun.com/exdb/mnist/Webページを開きます 

ローカルへのリンクにある4つのファイルをダウンロードし、前にダウンロードしたlenetの下に新しく作成されたMNIST_DATAディレクトリに配置します。

そして、winrarで解凍し、trainとt10kで始まるファイルをそれぞれtrainディレクトリとtestディレクトリに配置します。

次に、これらのコードをlenet.zipにパッケージ化し、scpツール(Xftp 6など)を使用して、ubuntu18.04に転送します。

次に、unziplenet.zipを実行して解凍します。

これらのファイルはubuntuの下にあります。

もちろん、これらのプロセスはubuntuで直接実行することもできます。たとえば、wgetを使用してトレーニングセットファイルなどを直接ダウンロードします。

それでは、安全のため、とりあえずrootを使いましょう。(ascendユーザーに権限の問題が発生するのではないかと心配しています...)

cd / home / ascend / lenet /

vi train.py

device_targetのデフォルトをCPUに変更します。data_pathをMNIST_DATAディレクトリに設定します。残りは当分の間変更されません:

次に、トレーニングの実行を開始します。

python3 train.py

しばらくして終わりました。

また、一部のファイルはckptで生成されます。

上位ディレクトリに戻り、以下を実行します。

python3 eval.py --ckpt_path = ./ ckpt / checkpoint_lenet-10_1875.ckpt

検証は成功し、モデルの精度は98.7580%です。

これは、mindsporeを使用してlenetを実行すると、これらのルーチンが比較的スムーズであることを示しています。

参考資料:

(1)[乾物共有]   Mindspore1.0 初体験 https://bbs.huaweicloud.com/forum/thread-80567-1-1.html@JeffDing

(2)[乾物共有] Experience MindSpore v1.0(1)-    インストールhttps://bbs.huaweicloud.com/forum/thread-80509-1-1.html @Tianyi_Li

 

クリックしてフォローし、Huawei Cloudの新しいテクノロジーについて初めて学びましょう〜

おすすめ

転載: blog.csdn.net/devcloud/article/details/109047782