OpenAI大規模モデル開発基盤
基本概念
GPT: OpenAI の GPT (生成事前トレーニング済みトランスフォーマー) シリーズの大規模モデルは、自然言語とコードを理解して生成し、テキスト入力に応じてテキスト出力に応答するようにトレーニングされています。 GPT への入力は「プロンプト」とも呼ばれます。 プロンプト ワードを設計するプロセスは、基本的にモデルをプログラミングすることです。通常は、タスクを完了するための指示や例を提供します。 GPT は、コンテンツやコードの生成、要約、会話、クリエイティブ ライティングなど、さまざまなタスクに使用できます。
エンベディング: エンベディングは、コンテンツやその意味の側面を保持するように設計されたデータ (一部のテキストなど) のベクトル表現です。何らかの点で似ているデータのチャンクは、無関係なデータよりも厳密な埋め込みを持つ傾向があります。 OpenAI は、テキスト文字列を入力として受け取り、埋め込みベクトルを出力として生成するテキスト埋め込みモデルを提供します。埋め込みは、検索、クラスタリング、推奨、異常検出、分類などに役立ちます。
トークン: GPT シリーズ モデルは、共通の文字シーケンスを表すトークンに従ってテキストを処理します。たとえば、文字列「tokenization」は「token」と「ization」に分割されますが、「the」のような短く一般的な単語は 1 つのトークンとして表されます。通常、文内の各単語の最初のトークンはスペース文字で始まることに注意してください。ツールを使用して、トークンがどのようにトークンに変換されるかを確認できます。大まかな経験則として、英語のテキストの場合、1 トークンは約 4 文字または 0.75 単語です。留意すべき制限の 1 つは、GPT モデルの場合、プロンプトと生成される出力の組み合わせがモデルの最大コンテキスト長を超えてはいけないことです。埋め込みモデル (トークンを出力しない) の場合、入力はモデルの最大コンテキスト長より短くなければなりません。
OpenAI 大規模モデルの概要
OpenAI API はさまざまなモデルのセットで構成されています