ヒント エンジニアリング 高度なヒントとテクニック
序文
時代の進歩と技術の絶え間ない発展により、迅速なエンジニアリングは、単純な迅速な記述とテストから、より複雑で挑戦的なハイテク分野へと生まれ変わりました。シニア プロンプト エンジニアは、常に新しい技術を学び、習得することによってのみ、機会と課題に満ちたこの分野で成功を収めることができます。
より高度なヒント エンジニアリング手法を習得した後は、大規模な言語モデルの深い実装について、その基礎となる構造、アルゴリズム、およびトレーニング プロセスにおけるさまざまな落とし穴やトリックを含む、より深い理解を得ることができます。これにより、これらの言語モデルをより正確かつ効率的に使用できるようになり、プロジェクトにより高い価値がもたらされます。
さらに、より高度なキュー エンジニアリング技術は、より複雑で興味深いタスクを達成するのにも役立ちます。たとえば、高度な生成モデルを使用して、少数のテキスト サンプルを入力するだけで多数の類似テキストを自動的に生成できるため、大規模なデータ セットの処理効率が大幅に向上し、さまざまなタイプのモデルを統合して、私たちのプロジェクトにより多くの可能性をもたらすユニークな統合モデル。
はじめに
今日、ヒントを改善することは、さまざまなタスクでより良い結果を達成するのに明らかに役立ちます. これが、ヒント エンジニアリングの背後にある全体的な考え方です。
基本的な例は楽しいものですが、このセクションでは、より複雑で興味深いタスクを実行できる、より高度なヒント エンジニアリング手法について説明します。
ゼロサンプルプロンプト
今日、大量のデータと調整された命令でトレーニングされた LLM は、ゼロショット タスクを実行できます。前のセクションでゼロショットの例をいくつか試しました。使用例は次のとおりです。
- ヒント：
テキストをニュートラル、ネガティブ、ポジティブに分類します。
テキスト: この休暇は大丈夫だと思います。
感情：
- 出力：
中性
上記のプロンプトでは、モデルに例を与えていないことに注意してください。これがゼロショット機能の機能です。
Wei et al. (2022) では、命令チューニングがゼロショット学習を改善することが示されています。命令チューニングは、基本的に、命令によって記述されたデータセットでモデルを微調整するという概念です。さらに、RLHF (ヒューマン フィードバックからの強化学習) が採用され、命令のチューニングが拡張されました。このモデルでは、人間の好みによりよく適合するようにモデルがチューニングされます。この最新の開発は、ChatGPT のようなモデルを駆動します。これらすべての方法と方法については、次の章で説明します。
ゼロショットが機能しない場合は、ヒントにデモまたは例を提供することをお勧めします。これにより、少数ショットのヒントが得られます。
いくつかのサンプルヒント
大規模な言語モデルは印象的なゼロ ショット機能を示しますが、ゼロ ショット設定を使用すると、より複雑なタスクでは依然としてパフォーマンスが低下します。少数ショット ヒンティングは、コンテキスト学習を可能にする手法として使用できます。ヒンティングでデモンストレーションを提供して、モデルがより優れたパフォーマンスを達成できるようにします。デモンストレーション 後続の例の条件として、モデルが応答を生成するようにします。
Brown et al., 2020によって提案された例を通して、少数ショットのヒントを示してみましょう。この例では、タスクは文の中で新しい単語を正しく使用することです。
- ヒント：
「whatpu」は、タンザニアに生息する毛むくじゃらの小さな動物です。whatpu という単語を使った文の例:
We see these really cute whatpus in our trip in Africa.
"farduddle" とは、すばやく飛び跳ねることを意味します。farduddle という単語を使用した文の例は、次のようになります。
- 出力：
ゲームに勝つと、みんなジャンプして喜びます。
例を提供することで、モデルがタスクの実行方法を学習したことがわかります (つまり、ワンショット)。より難しいタスクについては、デモを増やしてみることができます (例: 3 ショット、5 ショット、10 ショットなど)。
Min et al. (2022)の調査結果に基づいて、少数ショット学習を行う際のデモンストレーション/パラダイムに関する追加のヒントを次に示します。
- 「ラベルスペースの分布とデモで指定された入力テキストの両方が重要です（ラベルが単一の入力に対して正しいかどうか）」
- 使用される形式もパフォーマンスに重要な役割を果たします。ランダムなラベルを使用するだけでも、ラベルをまったく使用しないよりははるかに優れています。
- 他の結果は、(一様分布ではなく) 真のラベル分布からランダムなラベルを選択することも役立つことを示しています。
いくつかの例を試してみましょう。最初に、ランダムなラベルを使用した例を試してみましょう (つまり、ラベル Negative と Positive を入力にランダムに割り当てます)。
- ヒント：
これは素晴らしい！// ネガティブ
これは残念です! // ポジティブ
うわー、その映画はすごい! //
なんて恐ろしい番組なんだ！///
- 出力：
ネガティブ
ラベルはランダム化されていますが、それでも正しい答えが得られます。フォーマットも保持されることに注意してください。これも役立ちます。実際、さらに実験を重ねた結果、私たちが試みていた新しい GPT モデルは、ランダムなフォーマットに対してもより堅牢になっていることがわかりました。例えば：
- ヒント：
ポジティブ これはすごい！
これは悪いです！ネガティブ
うわー、あの映画は最高だった！
ポジティブ
なんて恐ろしいショーでしょう！–
- 出力：
ネガティブ
上記の形式は一貫していませんが、モデルは正しいラベルを予測します。これがキューのさまざまなバリエーションを含む、さまざまなより複雑なタスクに適用されるかどうかを確認するために、より徹底的な分析を実行する必要があります。
数ショットヒントの制限
標準的な数ショット ヒントは多くのタスクでうまく機能しますが、特により複雑な推論タスクを扱う場合は、まだ完全な手法ではありません。なぜそうなるのかを説明しましょう。前に与えられたタスクを覚えていますか?
このセットの奇数は合計すると偶数になります: 15、32、5、13、82、7、1。
A:
もう一度試すと、モデルは次のように出力します。
はい、このセットの奇数を足すと 107 になり、偶数になります。
これは正しい答えではなく、これらのシステムの限界を強調するだけでなく、より高度なヒント エンジニアリングが必要です。
いくつかの例を追加して、数ショットのヒントが結果を改善するかどうかを確認してみましょう。
- ヒント：
このセットの奇数は合計すると偶数になります: 4、8、9、15、12、2、1。
A: 答えは誤りです。
このセットの奇数を足すと、17、10、19、4、8、12、24 の偶数になります。
A: 答えは真です。
このセットの奇数を足すと、16、11、14、4、8、13、24 の偶数になります。
A: 答えは真です。
このセットの奇数は合計すると偶数になります: 17、9、10、12、13、4、2。
A: 答えは誤りです。
このセットの奇数は合計すると偶数になります: 15、32、5、13、82、7、1。
A:
- 出力：
答えは真です。
うまくいきません。このタイプの推論問題で信頼できる応答を得るには、少数のショットの手がかりでは不十分なようです。上記の例は、タスクの基本情報を提供します。よく見ると、ここで紹介するタイプのタスクには、さらにいくつかの推論ステップが含まれます。言い換えれば、問題をいくつかのステップに分解して、それをモデルに示すと役立つかもしれません。最近では、思考の連鎖 (CoT) キューが、より複雑な算術、常識、および記号推論タスクを解決するために一般的になってきました。
一般に、例を提供すると、特定のタスクを解決するのに役立ちます。ゼロ ショット ヒントと少数ショット ヒントが不十分な場合、モデルがタスクを適切に実行するのに十分な学習をしていない可能性があります。ここから、モデルを微調整するか、より高度なヒンティング手法を試してみることを検討することをお勧めします。次に、多くの注目を集めている思考連鎖ヒンティングと呼ばれる一般的なヒンティング手法について説明します。
Chain-of-Thought Prompting Chain of Thinking (CoT) プロンプト
画像クレジット: Wei et al. (2022)
Wei et al. (2022)で導入された連鎖的思考 (CoT) キューは、中間の推論ステップを通じて複雑な推論能力を可能にします。これを少数のヒントと組み合わせて、答える前に推論するより複雑なタスクでより良い結果を得ることができます。
- ヒント：
このセットの奇数は偶数になります: 4、8、9、15、12、2、1。
A: 奇数 (9、15、1) をすべて足して 25 にします。答えは偽です。
このセットの奇数を足すと、17、10、19、4、8、12、24 の偶数になります。
A: 奇数 (17、19) をすべて足して 36 を取得します。答えは真です。
このセットの奇数を足すと、16、11、14、4、8、13、24 の偶数になります。
A: 奇数 (11, 13) をすべて足して 24 にします. 答えは真です。
このセットの奇数を足すと、17、9、10、12、13、4、2 の偶数になります。
A: 奇数 (17、9、13) をすべて足すと 39 になります。答えは偽です。
このセットの奇数を足すと、15、32、5、13、82、7、1 の偶数になります。
A:
- 出力：
奇数 (15、5、13、7、1) をすべて足すと 41 になります。答えは偽です。
おお！推論ステップをフィードすると、完璧な結果が得られることがわかります。実際、このタスクはより少ない例を提供することで解決できます。つまり、1 つの例だけで十分なようです。
- ヒント：
このセットの奇数は偶数になります: 4、8、9、15、12、2、1。
A: 奇数 (9、15、1) をすべて足して 25 にします。答えは偽です。
このセットの奇数を足すと、15、32、5、13、82、7、1 の偶数になります。
A:
- 出力：
奇数 (15、5、13、7、1) をすべて足すと 41 になります。答えは偽です。
著者は、これは十分に大きな言語モデルからのみ出現する緊急の機能であると主張していることに注意してください。
ゼロショット COT プロンプト ゼロショット COT
画像クレジット: Kojima et al. (2022)
最近提案された新しいアイデアはゼロショット CoT (Kojima et al., 2022) であり、これは基本的に元のプロンプトに「段階的に考えてみましょう」を追加することを含みます。簡単な問題を試して、モデルがどのように機能するかを見てみましょう。
- ヒント：
私は市場に行ってリンゴを10個買いました。私は近所の人にリンゴを2個、修理工にリンゴを2個あげました。それからリンゴを5個買って1個食べました。りんごはあと何個ありますか。
- 出力：
りんご11個
答えは間違っています！それでは、特別なプロンプトを使用してみましょう。
- ヒント：
私は市場に行ってリンゴを10個買いました。私は近所の人にリンゴを2個、修理工にリンゴを2個あげました。それからリンゴを5個買って1個食べました。りんごはあと何個ありますか。
一歩一歩考えてみましょう。
- 出力：
まず、リンゴ10個から始めます。
隣人と修理工にそれぞれ 2 個のリンゴを渡したので、6 個のリンゴが残りました。
その後、5 個のリンゴを購入したので、11 個のリンゴがあります。
最後にりんごを1個食べたので、残り10個です。
印象的なことに、この単純な手がかりは、このタスクで非常にうまく機能します。これは、ヒントに使用する例があまりない場合に特に便利です。
一貫性
おそらく、ヒント エンジニアリングのより高度な手法の 1 つは、自己一貫性です。Wang et al. (2022)によって提案された自己一貫性は、「連鎖した思考プロンプトで使用される単純な貪欲な解読アプローチを置き換える」ことを目的としています。アイデアは、Few-shot CoT を介して複数の異なる推論パスをサンプリングし、生成された結果を使用して最も一貫性のある答えを選択することです。これは、算術および常識的な推論を含むタスクで CoT ヒントのパフォーマンスを向上させるのに役立ちます。
次の算術推論の例を試してみましょう。
- ヒント：
私が6歳のとき、妹は私の半分の年齢でした。私は70歳ですが、妹は何歳ですか？
- 出力：
35
出力がおかしい！この問題を自己一貫性でどのように改善できるでしょうか? やってみよう。Wang et al. 2022 (表 17) の少数サンプル パラダイムを使用します。
- ヒント：
Q: 森には 15 本の木があります。林業労働者は今日、森に木を植えます。完成すると21本の木になります。林業労働者は今日、何本の木を植えましたか?
A: 15 本の木から始めます。その後、21本の木ができました。違いは、彼らが植える木の数でなければなりません。したがって、彼らは 21-15 = 6 本の木を植えたに違いありません。答えは6です。
Q：駐車場に車が3台、あと2台来ますが、駐車場には何台ありますか？
A: 駐車場にはすでに車が 3 台あります。さらに2匹来ました。これで、3+2=5 台の車ができました。答えは5です。
Q: リアは 32 個、妹は 42 個のチョコレートを持っています。35個食べたら全部で何個残る？
A: リアには 32 個のチョコレートがあり、リアの妹には 42 個のチョコレートがあります。これは、最初は 32 + 42 = 74 個のチョコレートがあることを意味します。すでに35元を食べました。つまり、合計で 74-35 = 39 個のチョコレートが残っています。答えは39です。
Q: ジェイソンはロリポップを 20 個持っています。彼はデニーにロリポップをあげた。現在、ジェイソンはロリポップを 12 個しか持っていません。ジェイソンはデニーにロリポップを何個あげましたか?
A: ジェイソンはロリポップを 20 個持っています。彼は今 12 個しか持っていないので、残りをデニーに渡さなければなりません。彼がデニーに渡すロリポップの数は、20-12 = 8 個のロリポップでなければなりません。答えは8です。
Q: ショーンは 5 つのおもちゃを持っています。クリスマスに、彼は両親から 2 つのおもちゃをもらいました。彼は今、いくつのおもちゃを持っていますか。
A: 彼は 5 つのおもちゃを持っています。お母さんから2個もらったので、その後は5+2=7個のおもちゃを持っています。それから彼はお父さんから 2 つもらったので、合計で 7+2=9 個のおもちゃを持っています。答えは9です。
Q: サーバー ルームに 9 台のコンピューターがあります。月曜日から木曜日まで、毎日 5 台のコンピューターが設置されています。サーバールームには現在何台のコンピューターがありますか?
A: 月曜日から木曜日までの 4 日間です。毎日 5 台のコンピューターが追加されます。つまり、合計 4*5 =
20 台のコンピューター。最初は 9 台のコンピューターがあったので、現在は 9 + 20 = 29 台のコンピューターがあります。答えは29です。
Q: マイケルは 58 個のゴルフボールを持っています。火曜日に、彼は 23 個のゴルフボールを失いました。水曜日に、彼はさらに 2 敗した。水曜日の終わりに、彼はゴルフボールをいくつ残した?
A: マイケルはもともと 58 個のボールを持っていました。彼は火曜日に 23 を失ったので、その後は 58-23 = 35 のボールを持っています。水曜日に彼はさらに 2 つ失ったので、今では 35-2 = 33 ボールを持っています。答えは33です。
Q: オリビアは $23 を持っています。彼女はそれぞれ 3 ドルで 5 つのベーグルを買いました。彼女にはいくらのお金が残っていますか?
A: 彼女は 5 つのベーグルをそれぞれ 3 ドルで購入しました。
Q: 私が 6 歳のとき、姉は私の半分の年齢でした。私は70歳ですが、妹は何歳ですか？
A:
- 出力 1:
私が6歳のとき、姉は私の半分の年齢で、3歳でした。今、私は 70 歳なので、彼女は 70-3 = 67 です。答えは67です。
- 出力 2:
語り手が6歳の時、妹は彼の半分の年齢で3歳。現在、ナレーターは70歳で、彼の妹は70-3 = 67歳のはずです. 答えは67です。
- 出力 3:
私が6歳のとき、姉は私の半分の年齢で、3歳でした。今、私は 70 歳なので、彼女は 70/2 = 35 です。答えは35です。
最終的な答えを計算するには、いくつかのステップが必要ですが (詳細については論文を参照してください)、簡単にするために、ほとんどの答えが既に出ていることがわかります。したがって、これが基本的に最終的な答えになります。
ナレッジ ヒントの生成
画像クレジット: Liu et al. 2022
LLM は改善され続けており、一般的な手法の 1 つは、モデルがより正確な予測を行うのに役立つ知識や情報を組み込む機能です。
同様のアイデアを使用して、予測を行う前にモデルを使用して知識を生成することもできますか? これは、Liu et al. 2022による論文がヒントの一部として知識を生成しようとしているものです。特に、これは常識的な推論のようなタスクにどの程度役立ちますか?
簡単なヒントを試してみましょう：
- ヒント：
ゴルフの一部は、他の誰よりも高いスコアを獲得しようとしています。はい、もしくは、いいえ？
- 出力：
はい。
このエラーは、世界に関するより多くの知識を必要とするタスクを実行する際の LLM の限界を明らかにしています。知識を生み出すことでどのように改善できるでしょうか？
まず、いくつかの「知識」を生成します。
- ヒント：
入力: ギリシャはメキシコよりも大きい.
事実: ギリシャは約 131,957 平方キロメートルですが、メキシコは約 1,964,375 平方キロメートルで、メキシコはギリシャよりも 1,389% 大きくなっています。
入力: メガネは常に曇る。
知っておくべきこと: 結露は、汗、息、および周囲の湿度からの水蒸気が冷たい表面に落ち、冷却され、小さな水滴になるときに眼鏡レンズに発生します。見えているのは薄膜です。特に外の空気が冷たい場合、レンズは息に比べて涼しくなります。
入力: 魚には思考能力があります。
知識: 魚は見かけより賢い。記憶などの多くの分野で、それらの認知能力は、ヒト以外の霊長類などの「高等」脊椎動物の認知能力と同等またはそれを上回っています。魚の長期記憶は、複雑な社会的関係を追跡するのに役立ちます。
入力: 生涯に多くのタバコを吸うことの一般的な影響は、肺がんを発症する可能性が通常よりも高くなることです。
知識: 生涯で平均して 1 日 1 本未満のタバコを吸う人は、まったく喫煙しない人に比べて、肺がんになるリスクが 9 倍ありました。1日に1本から10本のタバコを吸う人は、肺がんで死亡するリスクが、まったく喫煙しない人の約12倍でした。
入力: 石と小石は同じサイズです。
知識: 小石は、Udden-Wentworth 堆積スケールで 4 ～ 64 mm の範囲の粒子サイズを持つ岩の破片です。小石は一般に、粒子よりも大きく (直径 2 ～ 4 mm)、小石よりも小さい (直径 64 ～ 256 mm) と見なされます。
入力: ゴルフの一部は、他の誰よりも高いスコアを獲得しようとしています。
知識：
- 知識 1:
ゴルフの目標は、可能な限り少ないストロークで一連のホールをプレーすることです。通常、ゴルフのラウンドは 18 ホールで構成されます。標準的なゴルフ コースでは、各ホールは 1 ラウンドに 1 回だけプレーされます。各ストロークは 1 ポイントとしてカウントされ、ストロークの合計数が試合の勝者を決定するために使用されます。
- 知識 2:
ゴルフは、競技者 (またはゴルファー) が多くの種類のクラブを使用して、コース上の一連の穴から最小のストローク数でボールを打つ精密なクラブ ゲームです。目標は、各ホールで使用されたストロークを合計して計算された最低スコアで終了することです。スコアが最も低いプレイヤーがゲームに勝ちます。
Liu et al. 2022による論文で提供されたヒントを使用します。
次のステップは、知識を統合して予測を導き出すことです。回答形式をガイドするために、質問を QA 形式に再フォーマットしました。
- ヒント：
問題: ゴルフの一部は、他の誰よりも高いスコアを獲得しようとしています。はい、もしくは、いいえ？
知識: ゴルフの目標は、一連のホールを最小限のストロークでプレーすることです。通常、ゴルフのラウンドは 18 ホールで構成されます。標準的なゴルフ コースでは、各ホールは 1 ラウンドに 1 回だけプレーされます。各ストロークは 1 ポイントとしてカウントされ、ストロークの合計数が試合の勝者を決定するために使用されます。
説明と答え：
- 回答 1 (確信度が非常に高い):
いいえ、ゴルフのゴールは他の誰よりも高いスコアを出すことではありません。代わりに、目標は可能な限り少ないストロークで一連のホールをプレーすることです。ゲームの勝者を決定するために使用されるのは、合計スコアではなく、合計ストローク数です。
- ヒント：
問題: ゴルフの一部は、他の誰よりも高いスコアを獲得しようとしています。はい、もしくは、いいえ？
事実: ゴルフは、競技者 (またはゴルファー) が多くの種類のクラブを使用して、コース上の一連の穴から最小のストローク数でボールを打つ精密なクラブ ゲームです。目標は、各ホールで使用されたストロークを合計して計算された最低スコアで終了することです。スコアが最も低いプレイヤーがゲームに勝ちます。
説明と答え：
- 回答 2 (確信度はかなり低い):
はい、ゴルフの一部は、他の誰よりも高いスコアを獲得しようとしています。各プレーヤーは、最小のストローク数で一連のホールを完成させようとします。ゲームの勝者を決定するために使用されるのは、合計スコアではなく、合計ストローク数です。スコアが最も低いプレイヤーがゲームに勝ちます。
この例では、非常に興味深いことが起こります。最初の回答では、モデルは非常に自信がありますが、2 番目の回答ではそれほど自信がありません。デモンストレーションのためにプロセスを簡略化しましたが、最終的な答えに到達する際に考慮すべき詳細がいくつかあります。詳細については、論文を参照してください。
オートプロンプトエンジニア（APE）
画像クレジット: Zhou et al., (2022)
Zhou et al. (2022) は、自動命令生成および選択のフレームワークである Automated Prompt Engineer (APE) を提案しました。命令生成問題は、自然言語合成問題として組み立てられ、LLM をブラック ボックス最適化問題の解として使用して、候補解を生成および検索します。
最初のステップには、タスクの命令候補を生成するための出力デモを受け取る大規模な言語モデル (推論モデルとして) が含まれます。これらの候補ソリューションは、検索プロセスをガイドします。ターゲットモデルを使用して命令が実行され、計算された評価スコアに基づいて最適な命令が選択されます。
APE は、手作りの「段階的に考えてみましょう」というキューよりも優れたゼロショット CoT キューを見つけました ( Kojima et al., 2022 )。
「正しい答えが得られるように、この問題を段階的に見ていきましょう。」というプロンプトは一連の思考を引き起こし、MultiArith および GSM8K ベンチマークでのパフォーマンスを向上させます。
画像クレジット: Zhou et al., (2022)
この記事では、ヒント エンジニアリングに関連する重要なトピック、つまりヒントを自動的に最適化するというアイデアに触れます。このガイドではこのトピックについて掘り下げていませんが、トピックに興味がある場合は、いくつかの重要な論文を以下に示します。
- AutoPrompt - さまざまなタスクのプロンプトを自動的に作成するためのグラデーション ガイド検索ベースの方法を提供します。
- Prefix Tuning - トレーニング可能な継続的なプレフィックスを NLG タスクに追加する、軽量の微調整の代替手段です。
- プロンプト チューニング- バックプロパゲーションによってソフト プロンプトを学習するメカニズムを提案します。
アクティブプロンプト
思考の連鎖 (CoT) アプローチは、人間が注釈を付けた一連の固定されたパラダイムに依存しています。問題は、これらのパラダイムがさまざまなタスクの最も効果的な例ではない可能性があることです。この問題に対処するために、Diao et al. (2023) は最近、Active-Prompt と呼ばれる新しいプロンプト方法を提案し、LLM をさまざまなタスク固有のサンプル プロンプト (人間が設計した CoT 推論で注釈付き) に適合させました。
以下、方法の説明です。最初のステップは、少数の CoT の例を使用して、または使用せずに LLM をクエリすることです。一連のトレーニング質問に対する k 個の可能な回答を生成します。k 個の回答に基づいて (矛盾を使用して) 不確実性尺度を計算します。最も不確実な質問は、人間によって注釈を付けるために選択されます。次に、新しい注釈パラダイムを使用して、各質問を推測します。
画像クレジット: Diao et al. (2023)
方向刺激合図
Li et al., (2023) は、 LLM をより適切にガイドして目的の要約を生成するための新しいヒンティング手法を提案しました。
調整可能なポリシー LM は、刺激/キューを生成するようにトレーニングされます。RLM は、LLM を最適化するためにますます使用されています。
下の図は、標準キューと比較した方向刺激キューを示しています。ポリシー LM は小さく最適化して、LLM のブラック ボックス フリーズを導くヒントを生成できます。
画像クレジット: Li et al., (2023)
反応する
Yao et al.から、2022 では、LLM が推論軌跡とタスク固有の操作をインターリーブ方式で生成するフレームワークを導入しています。推論の軌跡を生成することで、モデルは行動計画を誘発、追跡、更新し、例外を処理することさえできます。操作手順により、ナレッジ ベースや環境などの外部ソースとのインターフェイスと情報収集が可能になります。
ReAct フレームワークにより、LLM は外部ツールと連携して追加情報を取得し、より信頼性の高い事実に基づく回答を得ることができます。
画像クレジット: Yao et al., 2022
マルチモーダル思考連鎖促進法
最近、Zhang et al. (2023) はマルチモーダルな思考連鎖を促す方法を提案しました。従来の思考連鎖を促す方法は、言語モダリティに焦点を当てています。対照的に、マルチモーダル思考チェーン プロンプトは、テキストとビジョンを 2 段階のフレームワークに統合します。最初のステップでは、マルチモーダル情報に基づく合理的な生成が行われます。これに続いて、生成された合理的な情報を活用する第 2 段階の答えの推論が行われます。
マルチモーダル CoT モデル (1B) は、ScienceQA ベンチマークで GPT-3.5 よりも優れています。
画像クレジット: Zhang et al. (2023)
参考文献：
必要なのは言語だけではない: 認識を言語モデルに合わせる(2023 年 2 月)
グラフプロンプト
Liu et al., 2023 は、ダウンストリーム タスクのパフォーマンスを改善するための新しいグラフ プロンプト フレームワークである GraphPrompt を紹介します。
画像クレジット: Liu et al., 2023
例証する
- 記事内の Promopt の例は中国語ですが、実際には中国語ネイティブ スピーカー向けであり、英語の Prompt を中国語に翻訳して表示されます。
中国語のプロンプト ワードを使用すると良い結果が得られる場合がありますが、同じ中国語のプロンプトを再度入力すると、以前とはまったく異なる結果になる場合があります。中国語のプロンプト ワードの異なる出力を避けるために、ブロガーは英語のプロンプト ワードを使用することを推奨しています。さらに、中国語での返信を指定することもできます.英語のプロンプトの最後に追加して、respond in Chinese中国語の返信の効果を確実にすることができます. - 時間が経つにつれて、新しいヒント エンジニアリング関連の手法がどんどん出現します。新しいブロガーは、関連するテクノロジを随時更新します。
参考文献
エンジニアに最強のサポートを求める - Github の最新人気プロジェクトが数千の星を突破
その他の情報ダウンロード
人工知能関連の学習ルートと知識システムについて引き続き学習したい場合は、私の別のブログ「ヘビー| 完全な人工知能 AI 学習 - 基礎知識学習ルート」をお読みください。すべての資料は、料金を支払うことなく、ネットワーク ディスクから直接ダウンロードできます。このブログ
は、Github の有名なオープン ソース プラットフォーム、AI テクノロジ プラットフォーム、および関連分野の専門家 (Datawhale、ApacheCN、AI Youdao、Dr. Huang Haiguang など) を参照しています。約 100G の関連資料があります。すべての友達を助けます。