トランスフォーマーモデルは、リリース当初は主に機械翻訳などのNLP分野のタスクを扱うために使用されていましたが、アテンションメカニズムモデルの人気に伴い、トランスフォーマーモデルをベースにした魔法改革モデルも数多くリリースされています。 Google チームは、トランス モデルがコンピュータ ビジョンのタスクに使用できることを証明しました。特に swin トランス モデルのリリースにより、トランス モデルはコンピュータの分野に導入されました。ヴィジョン。前回の記事では、トランスフォーマー モデルに基づいてコンピューター ビジョン タスクに適用された別のモデル BETR も紹介しました。BETR モデルはオブジェクトの検出だけでなく、オブジェクトのセグメンテーションにも使用できます。今回は、トランスフォーマー モデルに基づいて BETR モデルを実装します。
from PIL import Image
import requests
import matplotlib.pyplot as plt
import torch
from torch import nn
from torchvision.models import resnet50
import torchvision.transforms as T
torch.set_grad_enabled(False);トランスフォーマー モデルに基づくオブジェクト検出アルゴリズムのコード実装の最初のステップは、Python のサードパーティ ライブラリをインポートする必要があることです。ここでは主に torch を使用します。これを実行していることを確認してください。