この記事は、「Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation」の翻訳を目的とした一連の LLM 記事です。
まとめ
知識集約型タスク (オープンドメインの質問応答 (QA) など) には広範な事実知識が必要であり、外部情報に頼ることがよくあります。最近、大規模言語モデル (LLM) (ChatGPT など) は、知識集約型タスクを含む世界の知識を使用してさまざまなタスクを解決する優れた機能を示しています。ただし、特に検索拡張と組み合わせた場合、LLM が事実知識の境界をどの程度認識しているかは不明です。この研究では、LLM の事実知識境界と、オープンドメイン QA において検索拡張が LLM にどのような影響を与えるかについて予備分析を行います。特に、私たちは 3 つの主要な調査質問に焦点を当て、LLM の QA パフォーマンス、事前判断、事後判断を調べることによってそれらを分析します。私たちは、LLM が質問に答える能力とその回答の正確さに揺るぎない自信を持っているという証拠を示しています。さらに、検索拡張は、LLM の知識境界認識を向上させ、その判断能力を向上させる効果的な方法であることが証明されました。さらに、LLM は回答を作成するときに提供された検索結果に依存する傾向があり、これらの結果の品質が依存性に大きく影響する可能性があることもわかりました。この作業を再現するコードはhttps://github.com/RUCAIBox/LLM-Knowledge-Boundaryで入手できます。
1 はじめに
2 背景と設定
3 実験分析と発見
4 結論
この研究では、オープンドメイン QA での検索を通じて事実知識の境界の認識を強化する LLM の能力を調査します。詳細には、事前および事後的な判断手がかりを提案し、QA 手がかりに加えて通常評価および検索拡張評価を実行します。我々は、(1) LLM は自分の質問に答える能力とその応答の質に盲目的な自信を示し、事実知識の境界を正確に認識できないことを示し、(2) LLM は持っている知識を最大限に活用し、検索強化を追加することで、事実知識の境界を認識する能力が効果的に向上し、それによって判断能力が向上します。(3) LLM は質問に答えるときに与えられた検索結果に大きく依存する傾向があり、サポートするドキュメントの機能がその依存性に大きく影響します。これらの発見に基づいて、裏付けとなるドキュメントを一貫して考慮するのではなく、LLM の事前の判断に基づいて検索拡張を動的に活用するシンプルなアプローチも採用し、それによってパフォーマンスを向上させます。