最近は自由時間がたくさんあります。私は8月から失業しており、内定取り消しの悪夢に見舞われています。私は一歩下がって、日常の問題を解決するために使用できるさまざまなインタラクティブなプロジェクトに取り組みたいと考えていました。NLP には常に興味がありました。私は常に Python を使用したいと思っており、私の旅が始まりました。NLP API の構築に関する私の最近のチュートリアルを読んでいただければ、spaCy と FastAPI を使用しました。このチュートリアルでは、Hugging Face の事前トレーニング済み Transformer モデル (特に Helsinki-NLP/opus-mt-en-fr モデル) を使用して、素晴らしい英語からフランス語への翻訳アプリを作成する方法を説明したいと思います (以下の引用)。まず、Python の input() 関数を使用して素晴らしいターミナル アプリケーションを作成できます。次に、Streamlit ライブラリを使用して完全な UI を追加します。フロントエンドのスキルは必要ありません。アプリがどのように動作するかを理解できるように、すべての依存関係、インポート、コードを 1 行ずつ詳しく説明します。
始める
始める前に、いくつかの依存関係を追加する必要があります。PyTorch (トーチ) を使用してこれをデモンストレーションします
pip3 install transformers sentencepiece sacremoses torch
依存関係の内訳:
Transformers: モデルとデータセットはどこから入手しますか
Transformers は、最先端の事前トレーニング済みモデルを簡単にダウンロードしてトレーニングするための API とツールを提供します。事前トレーニングされたモデルを使用すると、計算コストと二酸化炭素排出量が削減され、モデルを最初からトレーニングするのに必要な時間とリソースが節約されます。これらのモデルは、一般的なタスクをさまざまな方法でサポートします。
文：
SentencePiece は教師なしテキストトークナイザーおよびデトークナイザーです