最適な（SOTA）深い学習モデルの巨大なメモリを占有する傾向があります。多くのGPUは、通常、ストアに十分なVRAMを持っており、これらのモデルを訓練していません。
この記事では、我々は、彼らがトレーニングSOTAテストの言語/画像サイズのモデルをサポートすることが可能な条件を超えていないメモリに与えられた既存のGPUテストの異なるタイプになります。性能もそれぞれのGPUのための訓練になりますベンチマーク。GPUは、購入および配備エンジニアリングの友人にいくつかのアドバイスを必要とすることができます。
最新の一般的なGPUのモデルと価格
2020年2月の時点で、GPUはすべてSOTA言語とイメージモデルを訓練することができます。
・RTX 8000：48ギガバイトVRAM、〜$ 5,500人の。
・RTX 6000：24ギガバイトVRAM、〜$ 4,000
・タイタンRTX：24ギガバイトVRAM、〜$ 2,500
以下のGPUは、ほとんどの（すべてではない）SOTAモデルを訓練することができます。
・RTX 2080チタン：11ギガバイトVRAM、〜$ 1,150。*
・GTX 1080チタン：11ギガバイトVRAM、〜$ 800が改装しました。*
・RTX 2080：8ギガバイトVRAM、〜$ 720 *
・RTX 2070：8ギガバイトVRAM、〜$ 500 *
以下のGPUは、トレーニングSOTAモデルには適していません。
・RTX 2060：6ギガバイトVRAM、〜$ 359
*このように、モデルの精度が低下GPUの必要性ミニバッチモードでのトレーニング、を意味する標準。
全体的にGPUの選択肢の推奨
RTX 2060（6 GB）： 個人の暇な時間のための学習の深さを探求します。
RTX 2070または2080（8 GB）： 希望綿密な研究の深さの研究のための、しかし、GPUの予算は$ 600から800です。仮想メモリ8GBほとんどのモデルに対応することができます。
RTX 2080のTi（11ギガバイト）： 希望の深さの研究と深い学習、およびGPUの予算は約$ 1200です。速くRTX 2080よりもRTX 2080 Tiの約40％。
タイタンRTXとのQuadro RTX 6000（24ギガバイト）： SOTAのすべての種類に適した深い学習モデルを勉強したいのですが、RTX 8000を購入するのに十分な予算を持っていません。
QuadroのRTX 8000（48ギガバイト）： 将来への投資、さらには2020年にモデルを学習SOTA深さを勉強する機会を持つことができます。
画像のモデル
サポートされる最大メモリバッチサイズ
* GPUモデルを実行するための十分なメモリがないことを示します。
性能、画像の数が測定された第2のあたりに処理されます
* GPUモデルを実行するための十分なメモリがないことを示します。
言語モデル
サポートされる最大メモリバッチサイズ
* GPUモデルを実行するための十分なメモリがないことを示します。
演奏
* GPUモデルを実行するための十分なメモリがないことを示します。
QuadroのRTX 8000によって得られた結果
Quadro・RTX 8000枚の図2.スループットトレーニング。左：イメージモデル。右：言語モデル。
結論
より大きな利益より多くのGPUメモリからモデル画像よりも言語モデル。注左よりグラフの急勾配の右にいます。これは、言語モデルは、より制限により多くのメモリ結合、および画像のコンピューティングモデルであることを示唆しています。
より大きなバッチサイズが飽和CUDAカーネルを助けますので、GPU VRAMは、より良い、より高い性能を有します。
高いVRAMより大きなバッチサイズとGPUのサポートが比例しています。結論プロデュース合理的な結果の背景に：24ギガバイトの仮想メモリ、仮想メモリGPUのGPUは8ギガバイトを持っているバッチサイズよりも3倍程度にフィットすることができます。
注意がシーケンスの長さの二次関数であるので、長いシーケンスのために、メモリ、言語モデルは、あまりにも密です。
関連画像/言語モデルリソース
画像のモデル
言語モデル
オリジナルのリンク（図中でアクセス可能githubのアドレス）：
https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/
