ChatGPTを爆発させる大規模言語モデル(LLM)とは
よりエキサイティングなコンテンツ:
https://www.nvidia.cn/gtc-global/?ncid=ref-dev-876561
記事ディレクトリ
AI アプリケーションは、記事の要約、記事の作成、長い会話の保持を行っており、大規模な言語モデルが重労働を行っています。
大規模言語モデル (LLM) は、大規模なデータセットから得た知識に基づいてテキストやその他のコンテンツを認識、要約、翻訳、予測、生成できるディープ ラーニング アルゴリズムです。
大規模言語モデルは、Transformer モデルの最も成功したアプリケーションの 1 つです。それらは、AI に人間の言語を教えるだけでなく、タンパク質の理解、ソフトウェア コードの作成などにも使用されます。
翻訳、チャットボット、AI アシスタントなどの自然言語処理アプリケーションの高速化に加えて、大規模な言語モデルは、ヘルスケア、ソフトウェア開発、およびその他の多くの分野のユース ケースで使用されています。
大規模言語モデルは何に適していますか?
言語は人間のコミュニケーションのためだけのものではありません。
コードはコンピューターの言語です。タンパク質と分子配列は生物学の言語です。大規模な言語モデルは、さまざまな種類のコミュニケーションを必要とする言語またはシナリオに適用できます。
これらのモデルは、業界やビジネス全体で AI の適用範囲を広げ、世界で最も困難な問題に対する複雑なソリューションを生み出すのに役立つため、研究、創造性、生産性の新しい波を解き放つことを約束します。
たとえば、大規模な言語モデルを使用する AI システムは、分子構造とタンパク質構造のデータベースから学習し、その知識を使用して、科学者が画期的なワクチンや治療法を開発するのに役立つ実用的な化合物を提供できます。
大規模な言語モデルは、再考された検索エンジンの作成、チャットボットの指導、歌、詩、物語、マーケティング資料などのオーサリング ツールの作成にも役立っています。
大規模な言語モデルはどのように機能しますか?
大規模な言語モデルは、大量のデータから学習します。名前が示すように、LLM の核心はトレーニング対象のデータセットのサイズです。しかし、人工知能が発展するにつれて、「ビッグ」の定義も変化します。
現在、大規模な言語モデルは通常、インターネット上で長期間にわたって書かれたほとんどすべてを含むのに十分な大きさのデータセットでトレーニングされます。
このような大量のテキストは、教師なし学習を使用して AI アルゴリズムに入力されます。これは、モデルにデータセットが与えられたときに、それをどう処理するかについての明確な指示がない場合です。このアプローチにより、大規模な言語モデルは単語、単語間の関係、および単語の背後にある概念を学習できます。たとえば、文脈に基づいて「bark」という単語の 2 つの意味を区別することを学習できます。
人間の言語マスターが文や段落の次に何が来るかを推測したり、新しい単語や概念自体を思いついたりするのと同じように、大規模な言語モデルはその知識を適用してコンテンツを予測および生成できます。
大規模な言語モデルは、微調整やヒント調整などの手法を使用するなど、特定のユース ケースに合わせて調整することもできます。これは、特定のアプリケーション向けにモデルをトレーニングするために、焦点を当てる少量のデータをモデルに与えるプロセスです。
シーケンスを並列処理する際の計算効率により、Transformer モデル アーキテクチャは、最大かつ最も強力な LLM の背後にあるビルディング ブロックです。
大規模言語モデルの一般的なアプリケーション
大規模な言語モデルは、検索エンジン、自然言語処理、ヘルスケア、ロボット工学、コード生成などの分野で新しい可能性を切り開いています。
人気の ChatGPT AI チャットボットは、大規模な言語モデルのアプリケーションです。無数の自然言語処理タスクに使用できます。
LLM のほぼ無限のアプリケーションには、次のものも含まれます。
- 小売業者やその他のサービス プロバイダーは、大規模な言語モデルを使用して、動的なチャットボット、AI アシスタントなどを通じて、より優れたカスタマー エクスペリエンスを提供できます。
- 検索エンジンは、大規模な言語モデルを使用して、より直接的で人間らしい回答を提供できます。
- ライフ サイエンスの研究者は、大規模な言語モデルをトレーニングして、タンパク質、分子、DNA、および RNA を理解できます。
- 開発者は、大規模な言語モデルを使用してソフトウェアを記述し、ロボットに物理的なタスクを実行するように教えることができます。
- マーケティング担当者は、大規模な言語モデルをトレーニングして、顧客のフィードバックと要求をクラスターに整理したり、説明に基づいて製品を分類したりできます。
- ファイナンシャル アドバイザーは、大規模な言語モデルを使用して決算報告を要約し、重要な会議の議事録を作成できます。クレジット カード会社は、LLM を使用して異常検出と不正分析を行い、消費者を保護できます。
- 法務チームは、大規模な言語モデルを使用して、法律の解釈と書き起こしを支援できます。
これらの大規模なモデルを本番環境で効率的に実行するには、リソースを大量に消費し、専門知識が必要です。そのため、企業は、モデルの展開を標準化し、本番環境で高速でスケーラブルな AI を提供するのに役立つソフトウェアである NVIDIA Triton Inference Server に注目しています。
大規模な言語モデルの場所
2020 年 6 月、OpenAI は、1,750 億のパラメーター モデルを搭載したサービスとして GPT-3 をリリースしました。このモデルは、短い記述プロンプトでテキストとコードを生成できます。
2021 年、NVIDIA と Microsoft は、要約やコンテンツ生成などのタスクを簡素化する、世界最大の読解および自然言語推論モデルの 1 つである Megatron-Turing Natural Language Generation 530B を開発しました。
HuggingFace は昨年、46 の自然言語と 12 のプログラミング言語でテキストを生成できるオープンな大規模言語モデルである BLOOM を立ち上げました。
もう 1 つの LLM である Codex は、テキストをソフトウェア エンジニアやその他の開発者向けのコードに変換します。
NVIDIA は、大規模な言語モデルの構築と展開を簡素化するツールをいくつか提供しています。
- NVIDIA NeMo LLM サービスは、大規模な言語モデルをカスタマイズし、NVIDIA のマネージド クラウド API を使用して、またはプライベート クラウドとパブリック クラウドを介してそれらを大規模に展開するための迅速なパスを提供します。
- NVIDIA AI プラットフォームの一部である NVIDIA NeMo Megatron は、大規模な言語モデルを簡単、効率的、かつ費用対効果の高い方法でトレーニングおよび展開するためのフレームワークです。エンタープライズ アプリケーション開発用に設計された NeMo Megatron は、分散データ処理の自動化、GPT-3 や T5 などの大規模なカスタム モデル タイプのトレーニング、大規模な推論のためのこれらのモデルの展開のためのエンド ツー エンドのワークフローを提供します。
- NVIDIA BioNeMo は、プロテオミクス、低分子、DNA、および RNA の大規模言語モデル向けのドメイン固有のホスティング サービスおよびフレームワークです。これは NVIDIA NeMo Megatron 上に構築されており、スーパーコンピューティング スケールで大規模な生体分子変換 AI モデルをトレーニングおよび展開します。
大規模な言語モデルの課題
大規模な言語モデルのスケーリングと維持は、困難で費用がかかる場合があります。
基本的に大規模な言語モデルを構築するには、通常、数か月のトレーニング時間と数百万ドルが必要です。
また、LLM は大量のトレーニング データを必要とするため、開発者や企業は、十分に大きなデータセットにアクセスするのが難しいと感じています。
大規模な言語モデルは規模が大きいため、それらをデプロイするには、ディープ ラーニング、変換モデル、分散型ソフトウェアおよびハードウェアの深い理解を含む技術的な専門知識が必要です。
多くの技術分野のリーダーは、あらゆる規模の消費者や企業に利益をもたらす大規模な言語モデルへのアクセスを拡大するために、開発を進め、リソースを構築するために取り組んでいます。
よりエキサイティングなコンテンツ:
https://www.nvidia.cn/gtc-global/?ncid=ref-dev-876561