この記事は、「Graph of Thoughts: Solving Elaborate Questions with Large Language Models」の翻訳を目的とした一連の LLM 記事です。
マインド マップ: 大規模な言語モデルを使用して複雑な問題を解決する
まとめ
マインド マッピング (GoT) を紹介します。これは、思考連鎖や思考ツリー (ToT) などのパラダイムを超えて、大規模言語モデル (LLM) のヒンティング機能を強化するフレームワークです。GoT の重要なアイデアと主な利点は、LLM によって生成された情報を任意のグラフとしてモデル化できることです。情報の単位 (「LLM アイデア」) は頂点であり、エッジはこれらの頂点間の依存関係に対応します。このアプローチは、任意の LLM アイデアを組み合わせて相乗効果をもたらしたり、アイデアのネットワーク全体の本質を抽出したり、フィードバック ループを使用してアイデアを強化したりすることができます。さまざまなタスクにおける最先端技術に対する GoT の利点を説明します。たとえば、ToT と比較してコストを 31% 以上削減しながら、ランキングの品質が 62% 向上しました。新しい思考の変換によって GoT を拡張できることを保証し、それを使用して新しいヒントのシナリオを導くことができます。この研究により、LLM 推論は、複雑なネットワークを形成する人間の思考や再発などの脳のメカニズムに近づけられます。
1 はじめに
2 背景とシンボル
3 GoT フレームワーク
4 システムアーキテクチャと拡張性
5 使用例の例
6 レイテンシーのトレードオフ
7 評価
8 関連作品
9 結論
ヒント エンジニアリングは、大規模言語モデル (LLM) 研究の中核となる新しい分野の 1 つです。モデルを更新することなく LLM を効率的に使用できます。ただし、効果的なキューをデザインするのは困難な作業です。
この研究では、LLM がモデルを更新せずにさまざまなタスクを効率的に解決できる新しいパラダイムであるマインド マッピング (GoT) を提案します。重要なアイデアは、アイデアが頂点、アイデア間の依存関係がエッジである任意のグラフとして LLM 推論をモデル化することです。
これにより、アイデアは集計などの新しい変換を実行できるようになります。人間のタスク解決は非線形であることが多く、中間的な解決策を最終的な解決策に組み合わせたり、新しい洞察が発見されたときに推論の流れを変更したりする必要があります。GoT はグラフ構造を通じてこれを反映しています。
たとえば、GoT は他のヒンティング スキームより優れたパフォーマンスを発揮し、コストを 31% 以上削減しながら、ToT と比較してランキングの品質を 62% 向上させます。また、特定の LLM 出力が保持できる情報の範囲を示す、ヒンティング スキームの新しい指標である思考量も提案します。ここでも GoT が優れています。これは、より原則に基づいたチップエンジニアリングへの一歩です。