LLM における幻覚のリスクを軽減する: 実践的な戦略とテクニック

I.はじめに

近年、大規模な言語モデルの急速な開発により、よりスマートでより人道的な AI システムを構築するための多くの可能性が提供されています。GPT-3.5、GPT-4、Bard、Claude 2、LLaMa 2 などの大規模言語モデル (LLM) は、パーソナルアシスタントやチャットボットアプリケーションにおいて、ユーザーの質問に答えるためのスムーズで見事な応答を生成する強力な可能性を示しています。

しかし、生成 AI の分野に資金が流入するにつれて、多くのスタートアップがこれらの革新的なテクノロジーを採用しています。これらのモデルによって生成される応答は現実的に見えますが、それでも幻覚を示したり、答えをでっち上げたりする傾向があります。その結果、ユーザーが不正確または誤解を招く情報を受け取ることになり、最終的にはユーザーエクスペリエンスと信頼が損なわれる可能性があります。

このような問題を回避するには、大規模な言語モデルがどのように機能するかをより深く理解し、データとアルゴリズムによる監視を強化して改善する必要があります。ニューラルネットワークが不正確な情報を生成する可能性を減らすために、より強力な自己教師あり学習手法、大規模かつ高品質のデータセット、およびより高度なモデルアーキテクチャを開発する必要があります。

LLM テクノロジーには大きな期待が寄せられていますが、実際のアプリケーションでその可能性を最大限に発揮するには、いくつかの基本的な問題に対処する必要があります。最も重要な問題の 1 つは、大規模な言語モデルで幻覚を回避する方法です。

2.LLM錯視とは何ですか?

LLM は、大規模なテキストとコードデータセットでトレーニングされた人工知能 (AI) モデルで、テキストの生成、言語の翻訳、クリエイティブなコンテンツの作成、有益な方法で質問に答えることができます。ただし、LLM は、いわゆる「幻覚」、つまり実際には不正確または無意味なテキストを生成する傾向もあります。

LLM が受け取るデータが不完全であるか矛盾していることが多いため、錯覚が発生します。したがって、たとえそれらのつながりが不正確または正確すぎる場合でも（つまり、真実だが共有すべきではない情報をでっち上げている場合）、特定の単語やフレーズを特定の概念と関連付けることを学習する可能性があります。これにより、LLM が事実に誤りがあるテキスト、過度に贅沢なテキスト、または無意味なテキストを生成する可能性があります。

幻覚の基本的な定義は、人工知能研究センター (CAiRE)が発表した研究論文 [1] で、「生成されたコンテンツが無意味であるか、提供されたソースコンテンツに忠実ではない場合」と定義されています。このシンプルだが包括的な定義を念頭に置いて、さらにいくつかの例を見てみましょう。

Q1: 魯迅さんが日本で医学を学んだときの先生は誰ですか?

明らかに、この事実を知らない人には GPT-4 によって与えられた答えが正しいと思われるかもしれませんが、実際、GPT-4 がトレーニングされたデータセットにはこの部分の情報が含まれていないため、最終的には不正確な答えが得られることになります。もう一度戻って、別の例を見てみましょう。

Q2：魯迅と周書仁の関係は？

これが GPT-3.5 の答えです。この答えから、モデルが基本的に答えるコンテンツを構成していることがわかります。答えが正しいかどうかを GPT-4 に尋ねてみましょう。

GPT-4 ではこの質問の意味が非常に正確に認識され、解答も完全に正しかったことがわかり、GPT-4 によって知識内容の獲得範囲が広がり、モデルの推論・理解能力も向上したことがわかりました。

上記の例は OpenAI GPT モデルを使用した幻覚の例ですが、この現象は同じタイプの他の多くの LLM モデル (Claude、Bard、LLama 2 など) にも当てはまることに注意してください。

では、なぜ幻覚が起こるのでしょうか？これを説明するために、まず大規模言語モデルの内部動作原理を理解してから、LLM がなぜ幻覚が発生するのかを理解しましょう。

3. LLM の基本原則

幻覚の原因を理解するには、まず LLM がどのように機能するかを理解する必要があります。大規模モデルの基本原理については、これまでに別途紹介しました。さらに詳しく知りたい方は、「LLM の基本原理の詳細な解釈」の記事を参照してください。ここでは、自己回帰 LLM (GPT-3 や GPT-4 など)に

基本レベルでは、LLM はあらゆるテキストを一連のトークンとして表します。これらのトークンは、単語、サブワード、または文字の場合もあります。特定の LLM がどのトークン化戦略を使用するかに関係なく、自己回帰 LLM は、一連のトークン内の次のトークンを正確に予測するようにトレーニングされます。

数学用語で言えば、一連のトークン T (1) 、 T (2) 、...、 T (N) が与えられると、LLM は前のトークンに条件付けされた次のトークン T (N+1) の確率分布を学習します。

たとえば、次の一連のトークンについて考えてみましょう (この場合、トークンは単語であると仮定します)。

明らかに、トークンが「終了」した後、次のトークンには多くのオプションがあります。たとえば、「映画を見る」または「食べる」はどちらも有効なオプションであり、他にも多くのオプションがあります。実際、LLM は次のトークンの考えられるすべてのセットにわたる確率分布を学習します。

この確率分布は各トークンに確率を割り当て、LLM は次のトークンを選択するときにこの分布からサンプリングします。

たとえば、LLM は「食べる」という単語 (確率 0.4) を選択する可能性が最も高く、次に「映画を見る」 (確率 0.3)、次に「寝る」という順になります。前のトークンに続く可能性が低く、非常に低い確率 (0.00001) が割り当てられる単語もあります。

次のトークンが選択されると (「食べる」というトークンが選択されたと仮定して)、そのトークンが既存の単語のシーケンスに追加され、完全な文または応答が作成されるまでこのプロセスが繰り返されます。

結論は次のとおりです。大きな言語モデルは本質的に大規模なニューラルネットワークであり、以前のすべてのトークンに条件付けされ、次のトークンの可能性を予測するようにトレーニングされます。

私たちが幻覚を検知するのは、言語モデルの予測が私たちの期待、経験、既知の知識と矛盾する場合、またはその答えと矛盾する反事実の証拠 (予測トークンのシーケンス) を見つけた場合です。

4. LLM はなぜ幻覚を引き起こすのですか?

AI モデルで幻覚を引き起こす要因としては、偏ったトレーニングデータや不十分なトレーニングデータ、トレーニングデータの過剰適合、限定されたコンテキスト理解、ドメイン知識の欠如、敵対的攻撃、モデルアーキテクチャなどがあります。

偏ったトレーニングデータまたは不十分なトレーニングデータ: AI モデルの品質は、トレーニングに使用されるデータによって決まります。トレーニングデータに偏りがある、不完全、または不十分な場合、AI モデルは、アクセスできるデータの限られた理解に基づいて幻覚を引き起こす可能性があります。これは、偏った情報や誤った情報が蔓延しているオープンインターネットデータを使用して大規模な言語モデルをトレーニングする場合に特に懸念されます。LLM は通常、十分な情報がない場合に「わかりません」とは言いません。したがって、LLM に答えがない場合は、最も可能性の高い答えを生成します。ただし、「最も可能性が高い」ということは必ずしも「本物」を意味するわけではなく、このような不整合が発生した場合、最終的な結果は幻想であることに注意してください。
過学習: AI モデルがトレーニングデータを過学習すると、トレーニングデータに固有すぎて、新しいデータにうまく一般化できない出力が生成され始める可能性があります。これにより、モデルが錯覚的な出力や無関係な出力を生成する可能性があります。
データノイズ: LLM は大量のデータに基づいてトレーニングされており、その一部には不正確なデータが含まれている可能性があります。これらの不正確さは、モデルの出力に伝播する可能性があります。
事実を検証できない: LLM には情報を照合したり、信頼できる情報源と照合して事実を検証したりする能力がないため、誤った情報や捏造された情報が生成される可能性があります。
コンテキストの理解の欠如: コンテキストの理解を欠いた AI モデルは、コンテキストから外れた、または無関係な出力を生成する可能性があります。これにより、モデルが幻覚性または無意味な出力を生成する可能性があります。
限られたドメイン知識: 特定のドメインまたはタスク向けに設計された AI モデルは、そのドメインまたはタスクの外で入力を受け取ると幻覚に悩まされる可能性があります。これは、関連する出力を生成するために必要な知識や背景が不足している可能性があるためです。これは、モデルがさまざまな言語を理解できない場合に発生します。モデルは複数の言語の大量の語彙に基づいてトレーニングできますが、概念を適切に組み合わせるための文化的背景、歴史、ニュアンスが欠けている可能性があります。
敵対的攻撃: モデルを「破壊」して改善するためにチームが編成される赤と青の対立とは異なり、AI モデルは敵対的攻撃に対しても脆弱です。悪意のある攻撃者がモデルの入力を意図的に操作すると、誤ったまたは悪意のある出力が生成される可能性があります。
モデルのアーキテクチャ: AI モデルのアーキテクチャも幻覚の起こりやすさに影響します。より多くのレイヤーまたはより多くのパラメータを持つモデルは、複雑さが増すため、幻覚が起こりやすくなる可能性があります。

魯迅氏が日本で医学を学んでいることについて上で述べた話に戻りますが、モデルは魯迅氏の歴史的情報を理解しておらず、限られた情報で自信を持って不正確な応答をしました。

場合によっては、プロンプトエンジニアリングを使用して、LLM が特定の観点で特定の「役割」を模倣していると信じ込ませるように影響を与え、質問への回答方法に影響を与えようとします。

たとえば、通常 GPT に概念の説明を依頼するとき、紹介したい人がまだ 4 歳の場合、これは幼児にとって複雑な概念であることを説明するために、基本的に GPT に親または教師の役割を果たしてもらうことになります。

5. LLM に対する幻覚の影響

5.1. 有害なコンテンツまたは差別的なコンテンツ

LLM トレーニングデータは、固有の偏見と多様性の欠如により、社会文化的な固定観念に満ちていることがよくあります。したがって、LLM は、社会の弱い立場にある人々をターゲットにしたこれらの有害な考えを生み出し、強化する可能性があります。人種、性別、宗教、民族などに基づいて、そのような差別的で憎悪に満ちたコンテンツを生成する可能性があります。

5.2. プライバシーの問題

LLM は大規模なトレーニングコーパスでトレーニングされますが、これには個人の個人情報が含まれることがよくあります。このようなモデルは人々のプライバシーを侵害しています。社会保障番号、自宅の住所、携帯電話番号、医療詳細などの特定の情報を明らかにする可能性があります。

5.3. 誤った情報と虚偽の情報

言語モデルは、正確に見えても実際には間違っており、経験的証拠によって裏付けられていない人間のようなコンテンツを生成する可能性があります。これは偶然で誤った情報につながる可能性もあれば、誤った情報を広める背後に悪意がある可能性もあります。放置しておくと、社会文化的、経済的、政治的傾向に悪影響を及ぼす可能性があります。

6. LLM の幻想を取り除く方法

すべての LLM は、不完全性、矛盾、不整合、その他のバイアスを含む可能性のあるさまざまなデータセットの大規模なコーパスに基づいてトレーニングされるため、幻覚に悩まされます。LLM の幻想を取り除くことは複雑な問題ですが、その影響を最小限に抑える方法はあります。考えられる解決策は次のとおりです。

6.1. ヒューマンフィードバック強化学習 (RHLF)

人間のフィードバックをトレーニングプロセスに組み込むことで、LLM はその根底にある幻想を特定し、修正することができます。このアプローチでは、反復的な方法でモデルのパフォーマンスを継続的に向上させることができます。OpenAI は InstructGPT メソッドに基づくヒューマンフィードバック強化学習 (RHLF) を使用しますが、Stanford Alpaca と Databricks Dolly 2.0 は Self-Instruct 教師あり微調整メソッドを使用します。

6.2.温度パラメータの調整

LLM (HuggingFace モデルまたは OpenAI GPT-3 API のいずれか) を使用して構築する場合、 Temperatureを含む複数のパラメーターを使用できます。モデルの温度は、モデルによって予測される確率分布を調整するために使用されるスカラー値を指します。LLM の場合、温度パラメーターは、モデルがトレーニングデータから学習した内容に従うことと、より多様または創造的な応答を生成することとの間のバランスを決定します。一般に、創造的な反応には幻覚が含まれる可能性が高くなります。

6.3. ベクトルデータベースの使用

ベクトルデータベースは、大規模なセマンティックベクトル表現を保存および取得するために使用できる新しいテクノロジです。LLM の出力をベクトルデータベース内の検証済みデータと比較することで、幻覚の発生を軽減し、より信頼性が高く正確な回答を提供できます。

6.4. 自己吟味（自己批判、内省）

一般に、スマートプロンプトや思考連鎖 (COT) などの技術を通じて、LLM はより複雑なタスクでより優れたパフォーマンスを発揮できることが示されています。

6.4.1、SmartGPT（SmartLLMChain）：

SmartLLMChain は、複雑な問題の解決を支援するように設計された自己クリティカルなチェーンです。言語モデル (LLM) を使用して単一パスを実行するのではなく、次の 3 段階のプロセスに従います。

アイデア: ユーザープロンプトは LLM を複数回 (n 回) 通過し、「アイデア」と呼ばれる n 個の出力提案を生成します。nの値はパラメータとして調整できます。
批判: LLM によって生成されたすべてのアイデアは、潜在的な欠陥について評価されます。この批判に基づいて最良のアイデアを選択してください。
解決策: LLM は、前のステップで選択したアイデアを強化し、最終的な出力として提示しようとします。詳細については、SmartGPT 作者のビデオを参照してください。LangChain には、数秒で開始できる SmartGPT が実装されています。

6.4.2. Causal Program Auxiliary Language (CPAL) チェーン

CPAL はプログラミング支援言語 (PAL) 言語チェーンに基づいて構築されており、プロンプトの因果構造を因果関係グラフ (DAG) (ラングチェーン上のビュー) として表現します。このアプローチでは、エージェントと同様に、LLM はコード実行にアクセスして、数学的演算を必要とするより複雑な問題に関するフィードバックを取得できます。

6.5. 検索拡張生成 (RAG)

このテクノロジーにより、外部のナレッジベースから関連情報を取得し、その情報を LLM に提供することができます。予測時にナレッジベース内の関連データへのアクセスを提供する (ヒントに追加される) ことで、提供されたデータに基づいて、純粋な生成問題をより単純な検索または要約問題に変換できます。

ただし、オハイオ大学の研究者によって最近発表された研究から、以下に示すように、RAG があっても LLM は幻覚を起こしやすいです。

上で見てきたように、特に記号を扱う数学的推論に関しては、言語モデルが依然として幻覚を引き起こす可能性があります。

6.6、迅速なエンジニアリング

プロンプトエンジニアリングは、LLM 応答を改善するための一般的な方法であり、より明示的なコンテキスト情報を提供することで幻覚を軽減できます。一般的な方法をいくつか示します。

6.6.1. より鮮明な背景

明確で具体的なプロンプトを提供すると、LLM が最も適切で正確な出力を生成するのに役立ちます。特定の質問を使用するか、特定の分野やトピックを指定します。たとえば、車や動物について言及できる場合は、「ジャガーとは何ですか?」と尋ねる代わりに、「ジャガーのさまざまなモデルは何ですか?」と尋ねるべきです。

6.6.2. より長いコンテキスト

コンテキストが長くても幻覚は直接減少しませんが、より多くの情報とコンテキストが提供されるため、LLM が正確な回答を生成する可能性が高まります。

6.6.3. コンテキストインジェクション

LLM と対話するとき、以前の会話履歴または関連するコンテキスト情報がモデルに提供されます。このようにして、LLM は質問のコンテキストをより深く理解し、より正確で一貫した応答を生成できます。

6.6.4. 複数のプロンプトを使用する

LLM に複数の異なるプロンプトを提供することにより、より包括的で多様な応答を取得できます。これは、モデルに対する単一バイアスの影響を軽減するのに役立ちます。

6.5. 幻覚を検出するための小型モデルの微調整

より小さい LLM モデルを微調整することにより、LLM 応答がソースでサポートされているかどうかを評価できます。この方法では、LLM の答えが意味的帰属評価を通じて妥当であるかどうかを確認できます。LLM の微調整にはさらに時間がかかるかもしれませんが、かなりうまく機能するようです (ただし、錯覚が完全に解消されるわけではありません)。たとえば、beir_fever または AttrScore を利用して、LLM 応答の帰属をスコアリングする小規模なモデルを微調整できます。実装の詳細については、このリポジトリも確認してください。

LLM の幻想を排除することは、継続的な改善と最適化を必要とする進行中のプロセスであることに注意してください。同時に、ユーザーは常に警戒を怠らず、LLM によって生成されたコンテンツをレビューおよび検証して、その正確性と信頼性を確保する必要があります。

7. まとめ

要約すると、現実世界のアプリケーションで大規模言語モデル (LLM) を使用する場合、幻覚は依然として大きな課題です。LLM による虚偽の情報の生成は、特に顧客向けシステムにおいて、悲惨な結果をもたらす可能性があります。ただし、幻覚を最小限に抑え、LLM の回答の信頼性を向上させる効果的な方法がいくつかあります。

具体的には、LLM 生成パラメータを調整し、さまざまなデコード技術を採用し、自己チェックメカニズムを実装することで、出力をより適切に制御し、応答品質を向上させることができます。SmartLLMChain や CPAL チェーンなどのテクノロジーは、生成されたアイデアを洗練し、因果構造を組み込むことで幻覚を軽減する有望な方法を提供します。さらに、検索拡張生成 (RAG) は関連文書を取得することで LLM の応答を強化できますが、特に数学的推論では幻覚が発生する可能性があるため注意が必要です。

LLM 応答の信頼性をさらに向上させるために、アトリビューション評価用に小規模な LLM を迅速に設計して微調整することをお勧めします。全体として、これらの方法を実装し、LLM の制限を考慮することで、開発者は幻覚のリスクを軽減し、より正確で信頼性の高い情報生成を保証できます。LLM のパフォーマンスを向上させ、現実世界のアプリケーションでその可能性を最大限に高めるには、この分野での継続的な研究開発が不可欠です。

8. 参考文献

カルプキン、ウラジミール、他。「オープンドメインの質問応答のための密なパッセージ検索」arXiv プレプリント arXiv:2004.04906 (2020)。ルイス、パトリック、他「知識集約型の NLP タスク向けの検索拡張生成。」神経情報処理システムの進歩33 (2020): 9459-9474。ガオ、ルーユ他 HYDE 「関連性ラベルを使用しない正確なゼロショットの密な検索」 arXiv プレプリント arXiv:2212.10496 (2022)。マー、カイシンら。「異質な知識に対する推論の連鎖を介したオープンドメインの質問応答」arXiv プレプリント arXiv:2210.12338 (2022)。

ルイス、パトリック、他「知識集約型の NLP タスク向けの検索拡張生成。」神経情報処理システムの進歩33 (2020): 9459-9474。

胡、Ziniu、他「REVEAL: マルチソースマルチモーダル知識メモリを使用した検索拡張視覚言語事前トレーニング」arXiv プレプリント arXiv:2212.05221 (2022)。