完全な機械学習環境をゼロからすばやく構築し、Dockerイメージを使用して、再利用可能で高速に使用される基本的な機械学習環境を構築します。これは、機械学習分野でさまざまな競争のベースラインや論文をすばやく再現するのに便利です[詳細なソリューション]

目次

問題

ソリューション

総括する


問題

機械学習プログラム環境の実行には、多くの場合、次の側面が含まれます。

  1. ハードウェア、intel x86、amd、arm、その他のチップ
  2. オペレーティングシステム、Windows、ubuntu、centos、macなど、64ビット、32ビットなどを検討してください。
  3. グラフィックカードドライバ等などNVIDIA GPUグラフィックスカードの使用、1070ti、1080ti、として、グラフィックスカードは、ドライバ、CUDA、cudnnを含む、インストールの問題
  4. 開発言語:現在の主流の機械学習実験開発言語はpythonです。これには、Pythonバージョン管理の問題、さまざまな依存関係パッケージの管理、および分離の問題が含まれます。
  5. 主流の機械学習フレームワークは、tensorflow、pytorch、keras(tensorflow2.0にはライブラリが直接含まれています)、nniなど、前の4つの質問とは異なる依存関係があります。たとえば、うまくいけば、pytochはインストールごとにそれぞれの状況を一覧表示します。方法

、しかし、たとえば、tensorflowは、各バージョンのテンソルフローがコンパイルに依存するosとcudaのバージョンをユーザーに通知しないため、ユーザーのインストール環境に長い間問題が発生することがよくあります。

ソリューション

上記の問題への対応:

  1. 通常、intelx86チップを使用します。オペレーティングシステムは通常、x86 64ビットLinuxオペレーティングシステムを使用します。以前はubuntu14.04でしたが、現在はubuntu18.04 x64が徐々に普及しています。たとえば、nvidia社の公式ドッカーイメージ「nvidia / cuda:10.0-base」 "はデフォルトでubuntu18.04です。
  2. ほとんどの機械学習フレームワークは、ubuntu18.04linxuオペレーティングシステムバージョンでの実行をすでにサポートしています。
  3. ホストマシンはドライバーとともにインストールする必要があります。たとえば、ホストマシンは次のとおりです。Nvidiaのグラフィックスドライバーの最新バージョン「NVIDIA-Linux-x86_64-460.39.run」をインストールします。特定のドライバーは、Nvidiaの公式Webサイトで選択およびフィルタリングできます。 。これが1070tiグラフィックカードです。Linuxの本番安定バージョン環境「https://www.nvidia.cn/Download/index.aspx?lang=cn」を選択します。ダウンロード、および国内インターネットが遅いため速度、私はBaiduクラウドディスクにコピーを入れました: "リンク:https 
    ://pan.baidu.com/s/1b_FTjx4UsDhyWfNTfCjw3w抽出コード:6666"、それがWindows環境の場合は、最新のNvidiaドライバーをインストールし、 dockerのミラーイメージ:「nvidia / cuda:10.0-base」、Cuda10.0cudnnがデフォルトでインストールされます
  4. Miniconda3-py39_4.9.2-Linux-x86_64.shバージョンのminicondaを、イメージ「nvidia / cuda:10.0-base」に基づいたコンテナーにインストールします。この最新バージョンをインストールする利点は、最小の基本的なpythonの種類を取得できることです。インストールスペースバージョンと依存ライブラリ、例: "conda create --name yolov5_py3.8 python = 3.8"、自動構成環境変数をインストールした後、再利用可能なドッカーにパッケージ化できます。これは、作成者が作成したドッカーです。 :registry.cn-hangzhou.aliyuncs.com/allen135681/easyml  ubuntu18.04-nvidia_cuda10.0-base-Miniconda3-py39_4.9.2次のコマンドを実行して、ドッカーをローカルにダウンロードします。Windows 10では、wsldockerテクノロジーを使用してイメージをプルできます。
    sudo docker pull registry.cn-hangzhou.aliyuncs.com/allen135681/easyml:ubuntu18.04-nvidia_cuda10.0-base-Miniconda3-py39_4.9.2

    上記のDockerの構成は主に次のとおりです。

    docker pull名字:
    registry.cn-hangzhou.aliyuncs.com/allen135681/easyml:ubuntu18.04-nvidia_cuda10.0-base-Miniconda3-py39_4.9.2
    
    以上docker镜像基于英伟达官网的镜像nvidia/cuda 10.0-base eb416c0a142e 2 months ago 109MB 该基础镜像os是ubuntu18.04
    
    以下内容是添加的内容:
    
    1,添加apt 阿里云源: 
    #添加阿里源 
    deb http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse 
    deb-src http://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse 
    deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse 
    deb-src http://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse 
    deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse 
    deb-src http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse 
    deb http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse 
    deb-src http://mirrors.aliyun.com/ubuntu/ focal-proposed main restricted universe multiverse 
    deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse 
    deb-src http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
    
    2,apt update;apt install vim安装vim
    
    3,“/root/miniconda3/”目录下安装 Miniconda3-py39_4.9.2-Linux-x86_64.sh 自动配置环境变量,配置好后:conda 4.9.2 Python 3.9.1 pip 20.3.1

     

  5. さまざまな機械学習用のライブラリは、さまざまなオペレーティングシステムバージョン、cudaバージョン、およびpythonバージョンで構築される可能性があり、このバージョンで呼び出す必要があります。したがって、パート4のアイデアを模倣して、複数の同様のDockerイメージファイルを構築する必要があります。後で、作成者はさまざまな機械学習ライブラリ用にさらに多くのDockerイメージパッケージをリリースする予定です。

総括する

上記の鏡像の祝福で、誰もが資格のあるスカルパーになることができます。ベースライン、SOTAなどをすばやく再現します。

おすすめ

転載: blog.csdn.net/jrckkyy/article/details/114128602