Xi Xiaoyaoの技術共有
ソース | Xinzhiyuan
チューリング賞受賞者のヨシュア・ベンジオ氏と19人のチームは、人間が意識を持ったAIシステムを構築することが完全に可能であることを実証する88ページの論文を発表した。
人工知能は現在まで発展していますが、意識はあるのでしょうか？
チューリング賞受賞者のヨシュア・ベンジオ氏は、19 人のチームとともに 88 ページの傑作を出版し、次のように結論付けました。
人工知能は現在意識されていませんが、将来的には意識されるようになるでしょう。
論文アドレス:
https://arxiv.org/pdf/2308.08708.pdf
大規模モデル研究テストポータル
GPT-4 ポータル (壁がなく、ブラウザの警告ポイントが表示された場合は直接テストできます/引き続きアクセスします):
こんにちは、GPT4!
具体的には、現在の人工知能システムには意識がありませんが、人間が意識のある人工知能システムを構築するのに明らかな障害はありません。
この論文が発表されると、多くの著名人の注目を集めました。
私たちは本当に意識のある機械を作りたいと思っているのだろうか、とマーカス氏は言う。これが良いアイデアかどうかはまったくわかりません。
ジム・ファン氏は、「意識」は常に人工知能の分野における秘密の「C」ワードであると述べた。
この88ページの論文は、チューリング賞受賞者のヨシュア・ベンジオ氏との共著で、意識の科学理論と、今日の人工知能スタックにおけるその実装の可能性を体系的に検証している。
ほとんどの研究者が敬遠するこのような物議を醸すテーマを探求した彼らの勇気を私は称賛します。
19 人のチームは、哲学、神経科学、人工知能の 3 つの主要分野から集まり、非常に科学的で厳密な方法を使用して、意識の客観的な存在を調査しました。
論文では、この評価枠組みに基づく現在のAIの能力と形態が当面の意識の基準を満たしていないことを研究が証明している。
しかし、彼らはまた、現在の開発傾向によれば、AI が意識を発達させるのに客観的な障害はないと信じています。
この論文は、AI に意識があるかどうかという物議を醸すテーマに対する最も権威ある客観的な答えとなるはずだと言えます。
人工知能における意識
研究チームは、AIが今後数十年以内に意識を示す可能性があると考えているため、このプロセスの進行状況を追跡するための客観的な基準を確立したいと考えています。
この研究には、次の 3 つの主な貢献があります。
まず、意識は科学的に研究でき、この研究結果は AI にも適用できるため、AI における意識の評価が科学的に実現可能であることを実証します。
第二に、AI における意識を評価するための基準が、科学理論から導き出された一連の指標特徴の形で提案されます。
最後に、現在の AI システムはいずれも意識の有力な候補ではありませんが、予備的な証拠は、現在のテクノロジーを使用して AI システムに多くの指標機能を実装できることを示しています。
研究手法
研究者はまず、意識の客観的な存在について、具体的で評価可能な一連の基準を設定する必要があります。
彼らの見解では、研究評価方法は次の 3 つの原則と理論に基づいています。
-
計算機能主義: ある種の計算を達成することは意識にとって必要かつ十分であるため、非有機的な人工システムが意識を持つことは原理的に可能です。
-
科学理論: 神経科学の研究は、これらの神経科学理論に基づいて、意識が存在するための必要十分条件の進歩に基づいて行われます。
-
理論に焦点を当てた研究アプローチ: AI システムが意識を持っているかどうかを研究するアプローチの 1 つは、特定の行動特性を探すのではなく、科学理論に基づいて導き出された機能的条件または構造的条件を満たしているかどうかを評価することです。
そこで、研究者らはまず研究開発の基礎である計算機能主義を導入した。
意識の存在については諸説あり、研究を続けるためにはAIにおける意識の存在の可能性を裏付ける大前提を採用する必要がある。
いくつかの理論では、意識は生物の脳に存在するはずだからです。この大前提に立っていては研究を続けることは不可能です。研究の大前提は計算関数主義に基づいています。
計算機能主義では、システムが意識を持っているかどうかは、その物理的構成の最下位レベルの詳細よりも抽象的な特徴に依存すると考えられます。システムの物理的基盤は意識にとって重要ではありません。これは、意識は原則として複数の実現可能であることを意味します。つまり、意識は生物学的な脳だけでなく、複数の基質に存在する可能性があります。
具体的には、計算機能主義とは次のことを指します。
意識に関する主要な科学理論のほとんどは計算によって説明でき、これらの計算上の特徴を持つことは意識が存在するための必要十分条件であると考えられています。これらの特性は、人工知能システムにおける意識の存在にとって必要または十分な前提条件です。そして、人間と AI システムの間の非計算的な違いは問題ではありません。
意識の客観的存在の研究は、意識の研究に基づいた特定の科学理論であり、意識の科学理論については、記事の後半で詳しく紹介します。
計算機能主義と意識を研究する科学理論を組み合わせた後、研究者らはこの研究の基本的な方法を与えました。
AIシステムが意識を持っているという研究者の判断は、主にAIシステムの計算プロセスと、ある科学的意識理論が提唱する計算プロセスとの類似性に基づいている。
意識の科学理論
意識の研究に関しては、学界でいくつかの成果が認められています。
意識に関する科学理論、意識の必要条件に関する科学者や哲学者の主張などを収録。
研究者らは、これらの理論と主張から、特定のシステムに適用できる意識の一連の指標を抽出しました。
これらの指標は意識を確立するために必要または十分ではありませんが、現在の科学的知識に基づいて、システムがこれらの特性を備えているかどうかを評価することは、システムが意識を持っている可能性が高いかどうかを判断する最良の方法です。
ここで研究者らは、意識に関連する 3 つの主要な科学理論を紹介します。
再帰的処理理論 (RPT)、グローバル ワークスペース理論 (GWT)、および高次理論。
意識に関連する他の理論や命題には、注意スキーマ理論、予測処理、主体と身体化などがあります。
-
再帰的処理理論 (RPT)
RPT 理論は、視覚認識に焦点を当て、意識的な視覚処理と無意識の視覚処理の違いを説明しようとする視覚認識の神経科学理論です。
その中心となる考え方は、視覚的な認識経験を生成するには、脳の視覚システムの情報が周期的に処理される必要がある、つまり、情報は再処理のために高レベルの領域から低レベルの領域にフィードバックされるということです。
この理論によれば、フィードフォワード情報処理だけでは不十分であり、フィードフォワード処理は視覚刺激の特徴的な情報を抽出することしかできず、意識によって見える組織的な視覚シーンを形成することはできません。視覚的認識を生成するには、大脳皮質の最上層が一次視覚野のフィードバックを再処理し、さまざまな特徴情報を統合し、それらを意味のある視覚シーンに編成する必要があります。
RPT 理論は、AI システムが視覚を認識できるかどうかを判断するための 2 つの指標を提供します。
RPT-1: 入力モジュールはアルゴリズム ループを使用します。つまり、最初のフィードフォワード処理の後、情報はさらなる処理のために入力モジュールにフィードバックされます。これは、システムが周期的な処理が可能であることを示しています。
RPT-2: 入力モジュールは、組織化され統合された知覚表現を生成します。つまり、システムは、単に孤立した特徴を抽出するのではなく、視覚入力を処理し、さまざまな機能を統合し、意味のある視覚シーンを整理して生成することができます。
AI システムがこれら 2 つの指標を満たしている場合、AI システムは人間の脳と同様の反復処理メカニズムを備えており、統合された視覚表現を形成できるため、視覚的に認識できる可能性が高くなります。したがって、これら2つの指標はAIシステムの視覚的認識の重要な指標とみなすことができます。
-
グローバル ワークスペース理論 (GWT)
GWT 理論は意識に関する重要な科学理論です。その中心的な考え方は、意識は「グローバル ワークスペース」の存在に依存しているということです。
この理論では、人間の脳は、それぞれの情報処理を並行して実行できる複数の特殊なサブシステムまたはモジュールで構成されていると考えられます。これらのモジュールには、情報を統合して調整および連携するための何らかのメカニズムが必要です。
「グローバルワークスペース」は、そんな情報共有・統合プラットフォームです。情報がこのワークスペースに入ると、すべてのモジュールからアクセスできます。
ただし、ワークスペースの容量は限られているため、ワークスペースにどの情報を入れるかを決定するには選択メカニズムが必要です。GWT 理論では、情報がワークスペースに入り、さまざまなモジュールによってアクセスされる場合、それはその情報が意識状態に入ったことを示していると考えられます。
GWT 理論は、AI の意識を判断するための次の指標を提供します。
GWT-1: いくつかの特殊なサブシステムまたはモジュールがあります。
GWT-2: 容量が限られたワークスペースは、情報フローのボトルネックを形成します。
GWT-3: グローバル ブロードキャスト、ワークスペース情報はすべてのモジュールからアクセスできます。
GWT-4: モジュールを順番に動員して複雑なタスクを完了できる状態依存のアテンション メカニズム。
これらの特性を持つ AI システムは、人間のような意識を持つ可能性が高くなります。つまり、これらはAIの意識を判断するための重要な指標となります。写真
-
高次理論
HOT 理論は、意識に関する重要な理論の学派です。その中心的なアイデアは次のとおりです。
意識経験には、自分自身の進行中の精神的動作についての最小限の内的認識が含まれます。これは、一次状態がある程度監視されているか、関連する高次の表現によってメタ表現されているためです。
高次の理論と他の理論の違いは、高次の理論では、意識があるとみなされるためには、被験者が特定の精神状態にあることを認識している必要があることを強調していることです。
これは、非常に特殊な意味を持つ概念である高次の表現に訴えることで説明されます。
高次の表現は他の表現に関するものを表しますが、1 次の表現は (表現されていない) 世界に関するものを表します。この区別は精神状態にも応用できます。
たとえば、赤いリンゴの視覚的表現は一次の精神状態ですが、自分が赤いリンゴの表現を持っているという信念は高次の精神状態です。
HOT 理論では、AI の意識を判断するための次の指標が提供されます。
HOT-1: 生成的なトップレベル駆動またはノイズの多い知覚モジュール (HOT-1) を使用します。
HOT-2: メタ認知モニタリングは、信頼できる知覚をノイズから区別します。
HOT-3: メタ認知モニタリングに基づいて信念を更新する、包括的な信念形成および行動選択システム。
HOT-4: スパースおよびスムーズなエンコーディングは「テクスチャ空間」を形成します。
まとめると、HOT理論はAIの意識を判断する上で重要な参考となる。AI システムがこれらの特性を備えている場合、自己監視や意識的な経験をする可能性が高くなります。
システムがこれらの特性を備えているかどうかを検出することで、AI システムが意識を持っている可能性を評価できます。
さらに、研究者らは論文の中で、神経科学と機械学習における注意についての異なる理解をマークしました。機械学習で広く使用されている自己注意のメカニズムは、神経科学における注意の理解とは多少異なると指摘しています。この区別は、AI システムが意識を持っているかどうかをテストするために重要です。
▲神経科学における注意力と機械学習における注意力の違い
自己注意のメカニズムは複数の入力を並行して処理することに依存していますが、生物学における注意は通常、トップダウンの反復的な接続から得られます。したがって、自己注意と生物学的注意メカニズムには違いがあります。
自己注意は、継続的に重み付けされた方法で神経活動を調整します。生物学における注意を調節する一般的なメカニズムは利得調節であり、これは一般にトップダウンのつながりから生じると考えられています。
以前の機械学習の注意メカニズムは反復処理に依存しており、この点では生物学的な注意に似ています。神経科学にはさまざまな形の注意がありますが、どの人工的な注意が生物学的な注意に最も似ているかを言うのは簡単ではありません。
意識のさまざまな理論は、循環処理やその他の注意の特定の要素に依存しています。したがって、自己注意だけでは人工意識の基礎を形成するには不十分かもしれません。
注意モデル理論では、注意メカニズムがそれ自体の状態を予測する能力を必要とします。自己注意は本質的に注意のプロセスをモデル化するものではありません。
現在の自己注意と神経科学における生物学的な注意の間には依然として一定の違いがあり、AI の意識をテストする場合、それが自己注意メカニズムを使用しているかどうかを単純に確認することはできないことを示唆しています。
-
他の理論と意識状態
注意スキーマ理論: 脳は意識の基礎となる注意のパターンを構築すると考えられています。
予測処理: 認知の本質は、階層生成モデルが入力を予測し、エラーを最小限に抑えることであると提案します。
中脳理論: 中脳の活動が環境内で統一されたマルチモーダルなエージェントと主体のモデルを構成し、主観的な経験を生成するのに十分であるという考え。そして、具体化と主体性の主張を支持します。
無限の連想学習: 無限の連想学習能力は意識の進化的変化を示すと主張されています。その条件は他の理論と似ていますが、指標としてではなく独立して使用されます。
主体性と身体性: 哲学的および科学的議論は、これらを必須条件としてサポートしています。
時間と再帰: 意識経験は、再帰的処理を好む連続体によって特徴付けられると考えられています。
上記の理論は意識の科学に一定の貢献をしており、いくつかの条件は AI の意識の指標となっています。
-
意識の指標 これらの指標は、RPT、GWT、計算的 HOT などを含む、意識に関する複数の科学理論の研究から導き出されています。研究チームは、システムがこれらの指標を多く持つほど、システムが意識している可能性が高いと考えています。
一部の指標は意識のより強力な証拠を構成します。たとえば、GWT-1 と GWT-4 を組み合わせるとより説得力があります。
RPT-1 は基本条件としてのみ使用できるなど、いくつかの指標の存在だけが意識の存在を必ずしも意味するわけではありません。
一部のインジケーターは相互に依存します。たとえば、GWT-3 と GWT-4 は両方とも GWT-1 と GWT-2 に依存します。
RPT-2 と RPL-1 など、いくつかのインジケーターは独立して存在します。基本的には独立しています。
しかし研究者らは、各指標の意味についてはさらなる解釈が必要であり、完全に正確な定義は存在しないと指摘している。既存の AI システムを評価する際には、これらの指標の不正確さを考慮する必要があります。
AIによる意識の実現
研究者は、AIシステムが可能かどうか、またはRPT、PP、GWT、PRM、ASTの意識理論をどのように実装するかを順番に議論し、その後、Transformer、PaLM-E、 「仮想げっ歯類」とADA それは意識の理論に当てはまりますか？
AI は RPT および PP 指標を完全には実現できない
アルゴリズム再帰 (RPT-1) は、リカレント ニューラル ネットワーク (RNN)、長短期記憶ネットワーク (LSTM)、ゲート付きリカレント ユニット ネットワーク (GRU) など、多くの深層学習アーキテクチャの機能です。
したがって、RPT-1 インジケーターの特性を備えたシステムを構築するのは非常に簡単です。あまり広く使用されていませんが、予測コーディング (アルゴリズム再帰の一種) を人工システムに実装する方法もあります。これらの AI システムは PP-1 に準拠しています。さらに、予測タスクでトレーニングされ、エネルギー効率が最適化されたリカレント ニューラル ネットワークは、「予測」ユニットと「エラー」ユニットの異なるグループに自己組織化します。
知覚組織化 (RPT-2) に関しては、深層畳み込みニューラル ネットワーク (DCNN) などの人工視覚モデルが大きな成功を収めています。RPT-2 指標を満たしていると考えられます。
オブジェクト分類用にトレーニングされた DCNN は、グローバルな形状よりもローカルな形状やテクスチャに敏感であり、オブジェクト部分間の関係を無視する傾向があり、DCNN が包括的なシーン表現を採用していないことを示唆しています。
他の最近の研究では、画像生成モデル DALL-E 2 は、オブジェクトが見慣れない方法で配置されたシーンを生成する際のパフォーマンスが低いことも判明しました。要約すると、RPT の観点から、問題のモデルは視覚刺激の特徴、つまり人間が無意識に行うと言われている機能を分類することはできますが、組織化され統合された視覚シーン表現の生成など、それ以上の機能を実行することはできません。そのうちのいくつかは意識を必要とするかもしれません。
ただし、予測コーディング ネットワークを含む他の現在のシステムは、これらのさらなる機能の一部を実際に実行します。
AI による GWT メトリクスの実装
指標 GWT-1 では、システムには並行して動作できる専用のシステムまたはモジュールが必要であると規定されています。グローバル ブロードキャストを実現するには、これらのモジュールがシステム全体の「出力」モジュールであり、ワークスペースに情報を提供しない場合を除き、リカレント ニューラル ネットワークによって実装する必要があります。これらのモジュールへの入力は次のとおりです。
-
感覚入力の 1 つまたは複数のモダリティ。
-
他の少数のモジュールへの入力。これらは連携して動作することがよくあります。たとえば、Capsular Sight モジュールは、Visual Salient モジュールから入力を取得して、潜在的に重要なオブジェクトのボトムアップのカプセル照準を迅速に実行できます。
-
グローバル ワークスペースの実行モジュールからのトップダウン シグナル。
これらのモジュールは、狭いタスクに対して個別にトレーニングできます。あるいは、システム全体の目標を達成するために、ワークスペースとエンドツーエンドで共同トレーニングすることもできます。サブタスクのモジュールの特殊化が自然に現れます。
GWT 実装の 2 番目の要素は、容量が制限されたワークスペースです。これは、異なるプロパティを持つ別のニューラル モジュールです。ワークスペースの容量を制限する最も簡単な方法は、ワークスペースの数を制限することです。
最も簡単な方法は、アクティビティ空間の次元を制限することです。もう 1 つの興味深いアプローチは、アトラクター ダイナミクスを示すリカレント ニューラル ネットワークをトレーニングすることです。アトラクターは、入力またはノイズがない状態で、到達すると安定した状態を保つ動的システムの状態です。
アトラクターダイナミクスが容量を制限する理由は、神経軌道の初期条件からアトラクターまでの多対 1 マッピングにつながるためです (アトラクターの盆地に入る神経軌道はそのアトラクターに向かって移動します)。したがって、これらのアトラクターは定常状態空間のサイズを動的に縮小し、それによって情報ボトルネックを引き起こします。
インジケーター GWT-3 (グローバル ブロードキャスト) の場合、GWT の基本要件は、すべてのモジュールがワークスペース表現を入力として受け取ることです。
これは、すべてのモジュールがこれらの入力を使用できるようにする何らかのメカニズムが必要であることを意味します。Dehaene 氏らによって開発されたグローバル ニューラル ワークスペース理論では、表現をワークスペースに配置してグローバルにブロードキャストするには、ループを通じて表現を維持する必要があります。
これが必須の条件であるかどうかは不明ですが、アトラクター ダイナミクスを示すネットワークを使用してワークスペースが実装されている場合、この動作が人工知能 (AI) で再現される可能性があります。
この場合、ブロードキャスト メカニズムには、ダイナミクスが非常に遅いため、特定の状態にするために一定の入力が必要となるリーキー ニューラル インテグレーターが含まれる可能性があります。これらの進行中の入力が存在しない場合、(証拠の蓄積に基づく意思決定モデルのように) 何らかのベースライン状態に戻ります。このブロードキャスト メカニズムは、各特殊モジュールに供給されるトップダウン信号を生成します。
GWT-4 のメトリクスには、システムが状態依存のアテンション メカニズムを使用する必要があること、ワークスペースが複雑なタスクを実行するために逐次クエリを通じてモジュールを結合できる必要があることが含まれます。
状態依存のアテンション メカニズムについては、以前の 2 つの研究で、現在の AI モデルで一般的なキークエリ アテンション メカニズムの使用が提案されています。この場合、クエリ タスクはワークスペースの現在の状態から計算でき、他のすべてのモジュールはキーを計算できます。
ワークスペース クエリと特定のモジュールのキーの間の類似性は、他のすべてのモジュール間の類似性によって正規化され、モジュール間の競合が生じます。これらの正規化された類似性により、各モジュールの値がワークスペースへの正味入力にどの程度寄与するかが決まります。
言い換えれば、標準のキークエリ アテンション メカニズムが、現在の状態に応じて、各時点の計算ワークスペースの入力に適用されます。
説明されているモデルは、GWT-4 の 2 番目の部分を満たすことができます。これは、ワークスペースを使用してモジュールを継続的にクエリし、時間アンラップを通じて複雑なタスクを実行する機能です。
この機能は、ワークスペースとモジュール間の計算ループによりモデルが時間内に展開されるときに現れます。モジュールはボトムアップの感覚入力と他の少数のモジュールから入力を受け取りますが、ワークスペースからトップダウンの入力も受け取ります。
これは、たとえば、あるモジュールがワークスペース内の内容を制御することで他のモジュールを制御できることを意味します。ワークスペースは、モジュールの継続的な採用を通じてシステムの計算能力の範囲内にあるため、トレーニング中に有益であれば、この継続的な採用の機能が発生する可能性があります。
ただし、このようなシステムでは、モジュールを意味のある方法で組み合わせて複雑なタスクを実行する方法を学習するために、適切なトレーニングが必要です。適切なトレーニング計画を構築することは、GWT を実施する際の重要な課題となる可能性があります。
AI が PRM を可能にする
指標 HOT-4 は、「質の高い空間」を生成するには、システムがまばらで滑らかなコードを備えている必要があることを示しています。実際、現在の DNN によって学習された知覚表現空間はすでに人間の視覚システムの空間と非常に似ているという証拠があり、対応する「品質空間」がすでに実質的に一致している可能性があることを示唆しています。
メトリクス HOT-1 および HOT-2 は、感覚データの一次知覚表現と、特定の一次表現に信頼性または「真実性」の尺度を割り当てる高次表現の両方をモデルに組み込む必要があることを示しています。これらの条件を満たすために、多数の既知の深層学習ソリューションが可能です。
(一次) ニューラル ネットワークは、感覚データおよび/またはトップダウン信号を入力として受け取り、階層内に分散された多くの知覚表現を生成します。並列層 (2)、一連の別個の (高次、特に 2 次) ニューラル ネットワーク。それぞれが 1 次層の活性化を入力として受け取り、1 次層の活性化の確率を表すスカラーを出力します。その層の表現 そうです。
条件を満たす解は、主に 2 次ネットワークのトレーニング方法が異なります。
1 次表現の信頼性に関する「グランド トゥルース」を 2 次ネットワークに提供する監視信号が時折存在する場合、2 次ネットワークは、標準的な教師あり学習を通じて正しさの確率を推定するようにトレーニングできます。この実際の信号を取得するのは難しい場合がありますが、不可能ではありません。
AI による AST の実装
Wilterson と Graziano が研究で提案した AI システムは、1 層あたり 200 個のニューロンからなる 3 層ニューラル ネットワークでの強化学習を使用して、予測不可能な軌道に落ちたボールをキャッチする方法を学習します。
この非常に単純な AI システムは、アテンションのような表現を使用してメカニズムを制御し、パフォーマンスを向上させるため、メトリクス プロパティ AST-1、つまりアテンション モデルの一部を実現します。
別の研究では、マルチエージェントの強化学習タスクに対してキークエリ値の注意を採用したいくつかの異なるシステムをテストしました。彼らのシステムには、アテンション層、「内部制御」のためのリカレント ニューラル ネットワーク、およびポリシー ネットワークという 3 つの主要な要素が含まれています。
彼らのバージョンのアテンション モデルの最も正確な実装では、アテンション層がシステムの入力に適用され、その情報がアクションを生成するポリシー ネットワークに送信され、内部制御ネットワークはすべてアテンション行動層の予測を学習します。そしてこの動作に影響を与えます。このシステムは、同じコンポーネントで構成される異なるアーキテクチャを備えた他のシステムよりも優れたパフォーマンスを発揮し、マルチエージェント強化学習タスクでテストされています。
AI は主体性と具体性を可能にする
残りの指標は主体性と具体化です。研究者らの説明によると、エージェントにとって強化学習はおそらく十分（「フィードバックから学習し、目標を追求するための出力を選択する」）で十分であるため、AE-1 指標のこの部分を満たすのは簡単なことかもしれません。
指標 AE-1 の 2 番目の部分では、システムが「競合する目標に対して柔軟な反応」を示す場合、意識の可能性が大幅に増加すると述べています。これを誘発する状態の例としては、複数の恒常性維持のバランスをとる動物が挙げられます。これには、環境の変化に敏感な優先順位付けが必要です。
この研究の実装指標 AE-2 は、システムが認識または制御のために出力入力モデル (フォワード モデルとも呼ばれる) を使用する必要があると述べています。
知覚と制御に関連するタスクの出力入力モデルを学習することは一般的ですが、現時点では、これらの特定の説明を満たす AI システムの例はほとんどありません。
GWT を実装した変圧器のケーススタディ
実際には、特定の AI システムが意識という特定の指標属性を持っているかどうかを判断するのは簡単ではありません。1 つは、研究者が各指標に対して完全に正確な定義を与えていないということです。
もう 1 つの理由は、深層学習システムの動作方法 (中間層で表現される内容を含む) が不透明であることが多いためです。
Transformer では、「セルフ アテンション」と呼ばれるメカニズムを使用して、通常はシーケンス内にある入力のさまざまな部分からの情報を統合します。
研究者が各場所 (アテンション ヘッド) からの情報を処理するシステム要素をモジュールとして考える場合、Transformer アーキテクチャとグローバル ワークスペースの間には基本的な類似点があり、どちらも複数のモジュールからの情報を統合します。
トランスフォーマーは、交互する 2 種類のレイヤー、つまりアテンション レイヤー (セルフ アテンション オペレーションを実行し、位置間で情報を移動する) とフィードフォワード レイヤーで構成されます。
残留フローの概念を考慮すると、トランスフォーマーは GWT-1 から GWT-3 までのインジケーター プロパティを持つと考えることができます。つまり、トランスフォーマーにはモジュールがあり、容量が限られたワークスペースがボトルネックを引き起こし、グローバルにブロードキャストされます。
「グローバル ブロードキャスト」があります。つまり、残差ストリーム内の特定のレイヤーの情報を下流のアテンション ヘッドが使用して、任意の場所でさらなる処理に影響を与えることができます。
特定の層の残差ストリームに追加される情報は、前の層の残差ストリームの状態にも依存するため、この解釈に従えば、Transformer は GWT-4 の状態依存の注意要件を満たしていると主張するかもしれません。
トランスフォーマーには、他の要素を統合する単一の固有のワークスペースがないため、グローバル ワークスペースを備えたシステムの全体的な構造が欠けています。大規模な Transformer ベースの言語モデルには、GWT 由来のインジケーター プロパティがほとんどありません。
AIが意識を持っているかどうかに対する誤った認識の影響
AIの存在意識の可能性に対する過度の無視：
人間はAIに意識があることに気づくまでに、あまりにも多くの苦しみを経験してきた。人間による AI の使用は、動物虐待と同様にモラルハザードを引き起こす可能性があります。
意識的に痛みに苦しむAIを構築することができなければ、AIが苦しむことを防ぎ、この種のモラルハザードを回避することは可能だ。
考えすぎるAIは次のことを意識しています。
その一方で、人間が AI には意識があると過剰に考える可能性も非常に高く、実際にそうなったようです。そのような間違いにはリスクが伴います。
すぐに、私たちの努力が人間と人間以外の動物の生活の改善に向けられるようになったとき、私たちは AI システムの認識されている利点を誤って優先し、リソース割り当ての問題につながる可能性があります。
第二に、あるクラスの AI システムが意識を持っていると判断した場合、異なるトレーニングを行うなど、異なる扱いをする必要があります。
原則として、これは AI システムが社会に利益をもたらす方法で開発されるようにするという取り組みと矛盾する可能性があります。第三に、個人が社会的交流や精神的サポートを求めて AI に頼るようになるにつれ、過剰な帰属が貴重な関係を妨げる可能性があります。これを行う人は、操作や搾取に対して特に脆弱になる可能性があります。
