%matplotlib inline

パラレル・データ（オプション）

著者：サン・キムとジェニーカン

このチュートリアルでは、我々はどのように学ぶことができますDataParallel複数のGPUを使用します。

GPU上での方法を、以下のモデルに、マルチGPUを非常に使いやすいPyTorch：


    device = torch.device("cuda:0")
    model.to(device)

GPU：
そして、GPUにテンソルのすべてをコピーします。


    mytensor = my_tensor.to(device)

それだけで通話を注意してくださいmy_tensor.to(device)し、GPUにテンソルをコピーしませんでしたが、コピーを返します。だから、GPU上の新しいテンソルとテンソル使用これに割り当てる必要があります。

前方マルチGPUと逆拡散の実行は自然なことです。
しかしPyTorchデフォルトはGPUを使用します。

使用して、DataParallel簡単にモデルは、複数のGPU上で並列に実行させることができます。


    model = nn.DataParallel(model)

これは、このチュートリアルの核心である、のは、より詳細にそれを紹介しましょう。

インポートおよびパラメータ

インポートPyTorchモジュールおよびパラメータの定義。

import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

# Parameters and DataLoaders
input_size = 5
output_size = 2

batch_size = 30
data_size = 100

デバイス

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

仮想データセット

仮想（ランダム）データセットを作成し、
あなただけを実装する必要があります__getitem__

class RandomDataset(Dataset):

    def __init__(self, size, length):
        self.len = length
        self.data = torch.randn(length, size)

    def __getitem__(self, index):
        return self.data[index]

    def __len__(self):
        return self.len

rand_loader = DataLoader(dataset=RandomDataset(input_size, data_size), batch_size=batch_size, shuffle=True)

簡単なモデル

我々のモデルのデモンストレーションのみ入力を受け付けると、線形動作を実行し、結果を取得します。
説明：DataParallel任意モデル（CNN、RNN、カプセルネットなど）で使用することができます。

私たちは、内部モデルでは、入力および出力ベクトルの大きさを印刷するprint文を置きます。

バッチランクコンテンツ0:00印刷ことに注意してください。

class Model(nn.Module):
    # Our model

    def __init__(self, input_size, output_size):
        super(Model, self).__init__()
        self.fc = nn.Linear(input_size, output_size)

    def forward(self, input):
        output = self.fc(input)
        print("\tIn Model: input size", input.size(),
              "output size", output.size())

        return output

データモデルとパラレルの作成

これは、チュートリアルのコア部分です。

まず第一に、我々は、モデルのインスタンスを作成し、我々はより多くのGPUを持っているか否かを検出する必要があります。
あなたはより多くのGPUを持っている場合は、使用してnn.DataParallel我々のモデルをラップします。
Mその後、model.to(device)モデルはGPU上に置かれています。

model = Model(input_size, output_size)
if torch.cuda.device_count() > 1:
  print("Let's use", torch.cuda.device_count(), "GPUs!")
  # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs
  model = nn.DataParallel(model)

model.to(device)

Model(
  (fc): Linear(in_features=5, out_features=2, bias=True)
)

モデルを実行

これで、入力と出力のテンソルの大きさを見ることができます。

for data in rand_loader:
    input = data.to(device)
    output = model(input)
    print("Outside: input size", input.size(),
          "output_size", output.size())

    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

結果

そこに30個の入力と出力を取得することが期待されているようにないか、または唯一のGPUは、30入力と出力バッチに、ありませんが、あなたは複数のGPUを持っている場合は、次のような結果を得ることができます。とき

2つのGPU
〜

あなたは2を持っている場合は、表示されます。

。..コード:: bashの

# on 2 GPUs
Let's use 2 GPUs!
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

3つのGPU
〜

あなたは3つのGPUを持っている場合は、表示されます。

。..コード:: bashの

Let's use 3 GPUs!
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

8つのGPU
~~

あなたは8を持っている場合は、表示されます。

。..コード:: bashの

Let's use 8 GPUs!
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

概要

それは自動的にGPUに送られた複数のジョブのデータと複数のモデルを分割DataParallel。
そして、各モデルの後にジョブを完了するために、結果をプールし返します。

：詳細についてはこちらをご覧ください
https://pytorch.org/tutorials/beginner/former\_torchies/parallelism\_tutorial.html。

PyTorchチュートリアル5つのパラレル・データ（オプション）

パラレル・データ（オプション）

インポートおよびパラメータ

仮想データセット

簡単なモデル

データモデルとパラレルの作成

モデルを実行

結果

概要

おすすめ