1. 深層学習の一部のタスクでは apex パッケージを使用しますが、このパッケージのインストールには多くの問題が発生します。まず第一に、このパッケージを使用してインストールすることはできません。一般的には役に立ちませんpip install apex 。次のコマンドを実行してインストールします。
2、
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
git を使用するネットワーク速度が十分に速くない学生は、公式 Web サイトに直接アクセスして次のコマンド URL をダウンロードして実行できます: https://github.com/NVIDIA/apex
apex をインストールするときは、cuda バージョンと一致するトーチが必要です。それ以外の場合は、エラーバージョンが報告されます。対応していません。このとき、サーバー上に複数の cuda バージョンをインストールして、cuda バージョンを一致させることができます。このパートでは、Ubuntu システムに複数の cuda バージョンをインストールする方法を検索できます。
3. これはあなたが今でも犯す可能性のある間違いです
Attr ibuteError: module ' torch.distributed' has no attribute '_ reduce_ scatter_base‘
或者是
AttributeError: module 'torch.distributed' has no attribute '_all_gather_base'
現時点では、22.04dev バージョンをダウンロードしてインストールできます。これで問題は解決します (私はこれで問題を解決しました。奇妙なバグを恐れるため、以前のインストールをアンインストールしてからインストールすることを忘れないでください)。22.04dev をインストールするコマンドは上記と同じです。バージョンは公式 Web サイトからダウンロードできます）。
cd apex-22.04-dev
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
最後に、私の環境のインストールは
python 3.7
cuda11.1
torch1.9.0+cu11
apex0.1 (22.04dev インストールを使用)