最近、採用ソフトでプロンプトのエンジニアから仕事の誘いが来たので、月給は 35,000 ～ 45,000 と高額です。
ただ、個人的にはプロンプトエンジニアという概念には疑問を持っており、これをうまくやればリストラの進行が早くなるのではないかと常々感じていますし、プロンプトデザイナーという現場は縦割りすぎてエネルギーがかかります。蓄積することはできません。
そこで私は、Baoyu が編集した Microsoft の最新のスピーチを視聴し、「GPT をトレーニングして適用する方法」を教えました [1]。
読んでみて、プロンプトのエンジニアは風に乗った豚だなとさらに感じると同時に、プロンプトやGPTの思考モードについての理解が深まりました。
簡単に言うと、GPTの核は「模倣」であり、プロンプトはGPTに模倣サンプルを与えることです。
さらに詳しく、次の内容を見てみましょう。
-
トークンと中国の家
「トークン」という概念についても曖昧ですか？より多くのトークンの入出力をサポートするために GPT が更新されました。
しかし、トークンとは何でしょうか？
実はよく言われるトークンというのは、もともとは下の写真の右側2枚目にある、色分けされた単語の束です。
GPT が動作している場合、受信したテキスト (上の図の右側の最初の図) を、セグメント注釈 (上の図の 2 番目の図) を通じて数値の配列 (上の図の右側の 3 番目の図) に変換します。上の写真の右側）。
次に、この一見無意味な数字の文字列をニューラル ネットワークに入力します。
Transform にこれらの入力の重みを処理させ、最終的に結果を返します。上の図では入力と出力の間にニューラルネットワークが3層しかありませんが、現在GPTでは80層あると言われています。
本題に戻りますが、GPT が「テキスト」を「数値」に変換するプロセスは、「中国語の部屋」に少し似ていることに気づきましたか。
「チャイニーズルーム」のコンセプトは、ジョン・ロジャース・サールの論文「心、脳、プログラム」から来ています。その実験プロセスは次のように表現できます。
中国語は全く分からず、英語しか話せない人が、入り口が一つしかない密室に閉じ込められます。部屋には英語のマニュアルがあり、中国語のメッセージが届いた場合の対処方法と、それに応じた中国語での応答方法が記載されています。部屋の外にいる人々は、中国語で書かれた質問を部屋に渡し続けました。部屋の中の人々はマニュアルの指示に従い、適切な指示を探し、対応する漢字を組み合わせて質問の答えを作り、その答えを部屋の外に手渡しました。
ジョン・サールは、部屋の中にいる人々は本物のふりをすることができても、部屋の外にいる人々は彼が中国語を話していると思っているが、実際には中国語をまったく理解していないと信じています。
これは次のように理解できます。上記のプロセスでは、部外者の役割はプログラマに相当し、室内にいる人はコンピュータに相当し、マニュアルはコンピュータプログラムに相当します。
部屋の外にいる人が「入力」をすると、部屋の中にいる人はマニュアル（コンピュータプログラム）に従って「出力」をします。
そして、部屋にいる人がマニュアルを通して中国語を理解することが不可能であるのと同様に、コンピュータがプログラムを通して理解することも不可能です。コンピュータには理解能力がないので、いわゆる「コンピュータは賢い」などということはなおさら論外です。
言い換えれば、GPT 自体は出力内容を理解せず、約 80 層 (それほど多くはありません) のニューラル ネットワークを通過し、各数値 (トークン) の後に最も可能性の高い数値を推測し、それを返します。 NLPの原理。
したがって、AI が世界を支配するという人々がよく考えていることは、あまりにも遠い話なのかもしれません。
-
GPT の考え方
私たちが何かを書くとき、ほぼ独立したシステムが私たちが書いたものを見て考えています。私たちは通常、「内なる独白」を行い、心の中でその文全体を静かに読み、次の文に何を書くかを予想し、書かれた内容が全体としてスムーズで論理的であるかどうかを確認します。
したがって、「書く」こと、さらには「話す」こと（言葉や感情を観察すること）は、実際には複雑なプロセスです。
しかしGPTはそうは考えません。
GPT によって出力されるコンテンツは独立したトークンであり、個々の「小さなブロック」として想像できます。GPT は各トークンを計算するときに同等の注意を払います。これは、各トークンが GPT にとって同等に重要であることを意味します。その場合、GPT が出力のどこに焦点を当てたいかを認識することは期待できません。
GPT は出力する際に、循環反射を行わず、「論文提出前」の合理性チェックも行わず、出力したらすぐに出力します。
GPT は次の単語を推論して模倣するだけです。
しかし、利点もあります。膨大な事実の知識、数百億のパラメータ、完璧な作業記憶を備えています。
私たちの思考モードと GPT の違いにより、いわゆる Prompt エンジニアが存在します。この役職の役割は、GPT をより人間らしく考えるようにするという目的を達成するために、私たちの脳と GPT の脳の間に橋を架けることです。
-
プロンプトの原則
したがって、特に論理的な質問に答えるために GPT を使用する場合、プロセスを省略した参照回答のような複雑な質問に答えるためにトークンを直接使用することは期待できません。
GPT に思考のためのトークンを与えます。
「答えをステップごとに出力」させることで、GPT が「問題解決のプロセス」を示すことができ、GPT が各トークンを出力する負荷を軽減できます。このようにして、GPT が正しく応答する確率を向上させることができます。
次のように言うことができます。
正しい答えが得られることを確認するために、これを段階的に見てみましょう。
GPT が最も得意とするのは「模倣」であることに気づいたかもしれません。
GPTに一定の役割を持たせること、あるいは例を挙げると、GPTに段階的に「問題を解決」させることは、GPTのアウトプット効果を高めることです。
このとき、以前使っていた便利な GPT テンプレートには、「模倣」を重視し、「例」を示している点でいくつかの共通点があると感じます。
要約すると、プロンプト エンジニアには、ビジネスについての深い理解に加え、優れた言語スキル (簡潔でわかりやすいプロンプトを作成するため) と論理的思考スキル (GPT が模倣するための材料を提供するため) が必要です。このポジションは、非常に垂直な業界 (医療など) のニーズである可能性があります。
インスピレーション
1.
経験は私たちが行ったことから生まれます。知恵は私たちが悪いことをしたことから生まれます。
経験は私たちがやってきたことから生まれます。知恵は私たちが失敗したものから生まれます。
2.
創造的な仕事を楽しめる雰囲気を醸成するには、さらに数時間の時間を費やす価値があることがわかりました。—BJ Nowak インタビュー「Tools of Giants」
3.
知識は常に照合され、洗練され、挑戦され、強化されなければなりません。そうしないと、知識は消滅してしまいます。—ピーター・ドラッカー
4.
世の中には新しい言葉がたくさんあります。
私がDeepLearningを勉強していた21年間は「LLM」という言葉を聞いたこともありませんでしたが、最近募集要項でよく見かけるようになりました。
Wikipedia [4] の序文は、「正式な定義はありませんが」とカーン氏は次のようにまとめています。
大規模言語モデル (LLM) は、自己教師あり学習または半教師あり学習を使用して大量のラベルなしテキストでトレーニングされた、多くのパラメーター (数千万から数十億) を持つ人工ニューラル ネットワークで構成されるコンピューター化された言語モデルです。LLM は 2018 年頃に登場し、さまざまなタスクで優れたパフォーマンスを発揮します。これにより、NLP 研究の焦点は、特定のタスクに特化した教師ありモデルをトレーニングするという以前のパラダイムからシフトしました。
大規模言語モデルという用語には正式な定義はありませんが、一般に、大規模なコーパスで「事前トレーニング」された数百万、さらには数十億のパラメータを持つ深層学習モデルを指します。LLM は、感情分析、固有表現認識、数学的推論などの 1 つの特定のタスクについてトレーニングされるのではなく、幅広いタスクに適した一般的なモデルです。