2017 年、Google の著者らは、Transformer アーキテクチャを紹介した「Attending is All You Need」という論文を発表しました。この新しいアーキテクチャは言語翻訳タスクにおいて比類のない成功を収め、この論文はすぐにこの分野のあらゆる人にとって必読の文書となりました。他の多くの人と同様に、私もこの論文を初めて読んだとき、その革新的なアイデアの価値は理解できましたが、この論文が AI の他の広範な分野にどれほど破壊的な影響を与えるかはわかりませんでした。数年以内に、研究者は Transformer アーキテクチャを、画像分類、画像生成、タンパク質の折り畳み問題など、言語翻訳を超えた多くのタスクに適用しました。特に、Transformer アーキテクチャはテキスト生成に革命をもたらし、GPT モデルと現在 AI で経験している急激な成長への道を切り開きました。
今日の産業界や学界での Transformer モデルの人気を考えると、その仕組みの詳細を理解することは、すべての AI 実践者にとって重要なスキルです。この記事では主に、元の Transformer アーキテクチャのサブセットを使用して構築された GPT モデルのアーキテクチャに焦点を当てますが、最後に元の Transformer についても紹介します。モデル コードについては、オリジナルの Transformer 用に私が見つけた最も簡潔に記述された実装である、ハーバード大学の Annotated Transformer から始めます。GPT トランスフォーマに関連する部分は残し、関係のない部分は削除します。このプロセスでは、GPT に似たバージョンのコードと元のコードを簡単に比較して違いを理解できるように、コードに不必要な変更を加えることは避けます。
この記事は、経験豊富なデータ サイエンティストおよび機械学習エンジニアを対象としています。特に、テンソル代数に精通しており、ニューラル ネットワークを最初から実装したことがあり、Python に精通していることを前提としています。また、この記事は自己完結型にするよう努めましたが、GPT モデルがどのように機能するかについては、以前の記事を読んでいただくとより理解しやすくなります。
この記事のコードは、GitHub の関連プロジェクトにあります。
https://github.com/bstollnitz/gpt-transform