導入
元々はテキストをある言語から別の言語に変更するために作成されました。BERT は、人間の言語の学習方法と使用方法に大きな影響を与えました。オリジナルの Transformer モデルのテキスト理解部分が改善されています。BERT 埋め込みの作成は、複雑な意味を持つ文を取得することに特に優れています。これは、文全体を調べ、単語がどのように接続されているかを理解することによって行われます。Hugging Face トランスフォーマー ライブラリは、独自の文コードを作成し、BERT を導入するための鍵となります。
学習目標
- BERT と事前トレーニングされたモデルを完全にマスターします。人間の言語を使用する上でそれらがいかに重要であるかを理解します。
- Hugging Face Transformers ライブラリを効果的に使用する方法を学びます。これを使用して、テキストの特別な表現を作成します。
- 事前トレーニングされた BERT モデルからこれらの表現を正しく削除するさまざまな方法を見つけてください。言語タスクが異なれば、異なるアプローチが必要となるため、これは重要です。
- これらの表現を作成するために必要な手順を実際に実行することで、実践的な経験を積みます。自分でできるかどうかを確認してください。
- 作成したこれらの表現を使用して他の言語タスクを改善する方法を学びます