出典: ジャーナル オブ オートメーション
著者: 劉華平、郭迪、孫富春、張新宇
まとめ
身体的知能は、知能が脳、身体、環境の影響を受けることを強調し、エージェントと環境の間の「相互作用」に注目するため、身体的知能の研究では、エージェントの物理的形態との関係を重視します。現在、身体性知能は、形状と構造に関する機構科学、知覚と学習に関する機械学習、行動と制御に関するロボット工学の分野における関連研究成果を包括的に吸収し、統合知能を形成しています。比較的完全で独立しており、それは依然として精力的に発展している主題分野である. しかし、形態ベースの身体化知能の研究の進歩を完全に調べた文献はありません. この観点から、本稿では、形態学的計算、形態学的制御に基づく行動生成に焦点を当てます学習形態の最適化の 3 つの側面は、重要な研究の進歩を要約し、関連する科学的問題を要約し、将来の開発の方向性を要約しており、身体化された知能の研究に参考となります。
キーワード
身体化知能 / 形態知能 / 形態コンピューティング / 形態制御 / 形態制御協調最適化
現代の人工知能は 1950 年代のダートマス会議に端を発しており、その後しばらくの間、人工知能の研究は主に記号処理パラダイム (象徴主義とも呼ばれます) に限定されていました。この理論はすぐに実用化され、コネクショニズムの発展を刺激し、多層パーセプトロン、フィードフォワード ニューラル ネットワーク、リカレント ニューラル ネットワーク、今日学界や産業界で人気のあるディープ ニューラル ネットワークなどを形成しました。この手法は、人工ニューラル ネットワークを使用して認知プロセスをシミュレートすることは、確かに適応、一般化、学習において大きな進歩を遂げましたが、エージェントと現実の物理世界との間の相互作用の問題はまだ解決されていません。堅牢性やその他の側面も大きな課題に直面しています。課題 [1]. 実際、象徴主義と接続主義の問題に関する議論は、1970 年代と 1980 年代に大きな注目を集めました。 : コンピュータにチェスをさせることは、大人にとっては比較的簡単ですが、コンピュータが 1 歳児の認識能力と行動能力を持つことは非常に困難、あるいは不可能です)。これは多くの人々の懸念を反映しています。この問題に応えて、ミンスキーは行動学習の観点から「強化学習」の概念を提案し、ブルックスはサイバネティクスの観点から、知能は具現化（Embodied）し、文脈化（Contextlized）されることを強調しました[2]。つまり、エージェントが仮想世界から現実世界に入り込み、現実世界とのインタラクションを通じて知能を発達・進化させるためには「身体」が必要であるという考えに基づき、一連のバイオニックロボットを開発した。 「知性には身体が必要である」 [3] と述べ、たとえ研究が行われたとしても、歩いたり移動したりするなどの単純な行動も、知性の具現化された性質の理解を促進する可能性があると指摘しました。 4]、ロルフ・ファイファーは、「身体が知性にどのように影響するか」が「知性の身体化された性質」に及ぼす影響を分析し、「身体化」について明確に説明し、知性の性質の理解に対する「身体化」の深遠な影響を明らかにしました。これらの研究は、人工知能の第 3 の学派、つまり身体化された知能によって表される行動主義の基礎を築き、強固な技術的基盤を築きました。
象徴主義の「表現」やコネクショニズムの「計算」の強調とは異なり、身体化知能は「相互作用」に重点を置いています。物理的な操作プロセスは継続的かつ動的に生成されます。身体化知能の研究は、アリストテレスの議論に遡ることができます。古代ギリシャにおける知覚と運動のレベルでの身体の主観性 さらに、ロバート・ダーウィン、モーリス・メルロ=ポンティ、クロード・ベルナール、マルティン・ハイデッガーを含む科学者は、生物学、哲学、生理学を研究し、1960年代には、スイスの心理学者ジャン・ピアジェは、児童心理学を研究する過程で、動きは認知の源であると明確に指摘しました。知識と知識の基礎、適切な行動行動は、赤ちゃんが徐々に世界についての認識を形成するのに役立ちます。アメリカの視覚心理学者ジェームズ・ギブソン（ジェームズ・ギブソン） ) また、人間の視覚と機械の視覚に関する研究において、人間と環境の相互作用を強調し、その過程における身体化された知覚と行動との密接な関係を強調しており、その固有の哲学、心理学、生理学、認知科学の基礎により、身体化された知能に関連する研究結果が得られています。それらは、バイオニック/発生/進化ロボット工学、人工生命、コンピューティングなどの多くの分野や方向に普遍的に分布しています[5-7]。Nature Machine Intelligenceの創刊号では、身体化された知能に関する特別論文も掲載されました。文献[8-9]身体化された知能とロボットの関係を包括的に説明したマサチューセッツ工科大学「身体化された知能」（https://ei.csail.mit.edu）という研究チームも設立されており、Google、Metaなどの国際的に有名な企業が参加しています。現在、身体化知能に関する研究は、教育 [10]、材料 [11-12]、エネルギー [13] などの分野に広く拡張されており、これは、将来の新世代の人工知能の理論と応用におけるブレークスルーのための重要な窓口となります。
本稿では、身体的知能と区別するため、「表現」や「計算」に重点を置いた手法を「非身体的知能」というカテゴリーに分類する。歴史上、多くの対立がありましたが、そのような対立が人々の知性の理解とシミュレーションを効果的に進歩させてきたことは認められなければなりません。文献 [14] では、アナログ コンピューティングの身体化された認知特性について議論し、アナログ コンピューターを例として説明しました。一般に、体外知能はビッグデータやGPUなどのリソースを活用し、インターネット情報処理に代表される機構や材料などの分野で大きな成功を収めています。実際、特に深層学習、強化学習、その他の手法を含む手法レベルでは、身体化された知能と体外離脱型知能は相互に排他的ではないことが現在一般に受け入れられています。拡張機能を使用すると、体外知性と身体化知性の問題を解決するための重要なツールになります。
現在、身体性知能は、機構分野の形状と構造、機械学習分野の知覚と学習、ロボット工学分野の行動と制御に関する研究結果を包括的に吸収し、比較的完全で独立した急速に発展しているシステムを形成しています。人間に触発された知覚、意思決定、制御、およびシステム設計の側面で大きな進歩を遂げました[15]。現在、「身体化された知性の概要」をテーマにした論文がいくつかありますが、[16-17] ], その内容は主に知覚と行動の共同学習に限定されており、物理的形態の影響は無視されています. 身体化知能では、エージェントの物理的形態と知覚、学習、および制御の間の関係が重要な役割を果たしますが、身体化知能に関する研究の進展を文献で包括的に整理し、本論文ではこの分野の発展の参考となるよう、この問題に関する重要な研究の進展を総合的に分析・要約するとともに、身体化知能に関する哲学的議論、心理学、生理学および材料科学の研究の進歩については、この記事の範囲を超えています。
本稿の構成は、第 1 章で身体性知能のアーキテクチャを概説し、身体性知能研究システム全体における形態ベースの身体性知能研究の位置を明確にし、関連分野の発展動向を概説し、第 2 部と第 3 部で構成されています。セクション 1 と 4 では、形態学的計算ベースの動作生成、学習ベースの形態学的制御、および学習ベースの形態学的最適化という 3 つの重要な問題をそれぞれ詳細にレビューし、セクション 5 では、ソフト ロボットの典型的な形態に関連する最先端の開発を具体的に紹介します。 ; 第 6 節は概要と展望です。
1. 形態学に基づく身体化インテリジェンスのアーキテクチャ
身体化された知能の中核要素は、エージェント自身の形式の設計、制御、最適化です。この分野の研究活動は機構や機械学習の分野と密接に関連しており、クロスオーバーが強いため、体系的なレビュー文献はほとんどありません。このセクションでは、身体化された知能の特徴を分析することにより、形態、行動、学習の 3 つのモジュールに従って、この分野における研究の進歩と重要な科学的課題を要約します。これら 3 つのモジュールの間には密接な関係があります (図 1 を参照)。身体的知能のさまざまな内容として、この論文が焦点を当てていることに注意してください。これは、文献 [9, 18] で言及されている「身体的知能」とは異なります。後者は、オントロジー自体の構造的特徴によって形成される機能を強調しています。
図 1 に示すアーキテクチャによれば、フォームベースの身体化インテリジェンスでは、フォーム、行動、学習の関係は次の側面に要約できます。
-
1) 形態学を利用した行動生成：「計算」を部分的に置き換えるという目的を達成するために、具体化されたエージェントの形態学的特徴を利用して特定の行動を微妙に実装することに重点が置かれています。
-
2) 学習を実現するための行動の利用: 自律学習の目的を達成するために、探索や操作などの身体化されたエージェントの行動能力を利用して学習サンプルとラベル付け情報を能動的に取得することに重点が置かれており、この部分の作業は比較的手間がかかります。 -edge および関連する成果はまだ比較的完全なシステムを形成していませんが、将来の重要な研究方向であるため、この記事では結論と展望のセクションでレビューします。
-
3) と 4) はそれぞれ、学習を利用して行動を改善することと、行動を利用してフォームを制御することを強調しています。後者を実現するには多くの方法がありますが、学習方法を利用して行動を改善し、次にフォームを制御するという現在の取り組みは、現代の人工知能技術、特に強化学習に基づく技術は現在注目の手法となっているため、本稿の第 3 章「学習に基づく形態制御」では、この観点からの具体的な検討を中心に行う。
-
5) 学習による形状の最適化: 具現化されたエージェントの形状の最適な設計を実現するための高度な学習最適化技術の使用を強調します。この部分の関連研究の進捗状況は、この論文のセクション 4「学習ベース」で実行されます。形状の最適化」。
2. 形態素計算に基づく動作生成
生物の体は、環境に適応する過程で徐々に固有の形態構造を形成し、この形態構造は生物の生存に重要な役割を果たしています。 「命を落とした人たちです。水の中の自然な動きは、環境との相互作用によってのみ生み出されます。この現象は人間の生活でもよく見られます。たとえば、人は物体を手に取るとき、材質、形、大きさなどを知る必要はありません」このような構造形状だけで実現される知的行動は早くから注目されており、「形態学的コンピューティング」あるいは「形態的知能」と呼ばれることもあります。 「形態学的コンピューティング」とは、身体の形状、材質、動的特性を利用して、計算効率を向上させ、身体の挙動の制御をさらに実現するメカニズムを説明します。形態学的コンピューティングによって、「脳」が行う必要のあるコンピューティング作業の一部が実現されます。 「身体」に転送することができます。「完全、つまり、「身体」と環境の間の相互作用を使用して動作を生成します。形態学的コンピューティングは、シミュレーション - 物理的移行と低電力グリーン コンピューティングにおいて大きな利点があります [20] 、そして身体化された知能の中で最も先進的であるとさえ考えられています。核心的かつ重要な内容[21]。近年、精密機構、ソフトマテリアルおよびその他の分野の発展に伴い、形態学的コンピューティングは、人工知能を含む新たな開発の機会をもたらしています。 Life、Advanced Robotics、IEEE RAM などのアルバムがこの分野の発展を強力に推進してきました[22-23]。
形態学的コンピューティングは生体模倣ロボット工学の研究と密接に関連しているため、この 2 つの関係は混乱を引き起こす可能性さえあります。実際、形態学的コンピューティングは、特定の生物学的形態を現実的に模倣するよりも、形態学を使用して動作を生成することに重点を置いています。多くのバイオニック ロボットは、いくつかの機能を実現しています。生物の形状を模倣することで機能的なブレークスルーを実現することができます。例えば、脚式ロボットは車輪付きロボットに比べて階段を登る能力を得ることができますが、行動制御の観点からは形状自体の利点を十分に活用できておらず、依然として複雑な設計が必要です。これらの状況は、この論文で議論される形態学的コンピューティングには含まれていません。さらに、この論文で議論される形態学的コンピューティングは、[24] で使用される「身体化コンピューティング」の概念と同じではありません。後者は、ウェアラブル、吸収可能を強調しています。 、人体に埋め込み可能な明示的コンピューティング デバイスは「身体中心コンピューティング」とも呼ばれますが、「形態学的コンピューティング」は、構造自体の特性を利用して の暗黙的な計算を実現することに重点を置いています。
形態学的計算を使用して自動制御を実現した歴史は、ワットによる蒸気エンジンの遠心ガバナの発明にまで遡ります。この遠心ガバナは、史上初の実用的な産業用途を指向したコントローラでもあります (図 2 を参照)。蒸気機関の大規模応用を目指し、第一次産業革命に貢献したワットは「蒸気機関の父」とも呼ばれていますが、遠心調速機は挙動制御の観点から、実際に機構系を用いてアナログ動作を実現しています。フィードバック制御と呼ばれますが、この制御構造は現代の制御システムの「コントローラーとセンサー」によるフィードバック制御構造とは大きく異なり、遠心ガバナの構造を分析すると、その形式には豊富な計算と表現が含まれていることがわかります。コアは従来の人工知能の分野と矛盾するものではなく、計算と表現を実現するために形式を使用するだけですが、デジタルコンピューティング機器の急速な発展に伴い、徐々に複雑なコントローラの操作をコンピュータで実現するようになり、この機構形式の使用は、行動制御の方法は、自動制御の分野ではほとんど無視されてきました。
それにもかかわらず、ロボット工学分野の研究者は、この問題の探求を完全に放棄したわけではなく、過去 30 年間に、受動歩行ロボットや関連する理論モデルを含む多数の形態学的コンピューティング デバイスが開発されました。このセクションでは、関連する重要な開発を検討することに焦点を当てます。形態学的計算デバイスと理論モデルの 2 つの観点から説明し、第 5 章ではソフトロボットに関連する形態学的計算手法を具体的に紹介します。
2.1 形態解析装置の開発
形態学的コンピューティングを利用して複雑な行動制御を実現した代表的な例としては、1990 年代の受動歩行ロボットが挙げられ、文献 [25] ではこの機構の運動特性を利用して人間の歩行メカニズムを解析し、受動的ダイナミクスを用いてこの機構を実現することが説明されている。 2005 年、ミシガン大学、コーネル大学、マサチューセッツ工科大学、オランダのデルフト大学の 4 人の学者が共同でこの論文を執筆しました [26] ] on Science は、（重力を補償するために使用される）弱い動力源を導入することにより、受動歩行ロボットは平面上で人間と同様の自然な歩行を実現できると指摘しました（図 3(a) を参照）。ロボット プラットフォームの動作は、ロボット本体と環境 (重力と傾斜) との相互作用を通じて完全に生成されます (図 3(b) を参照)。この研究では、従来のダイナミクス モデリングおよび制御分野におけるロボットの関節の厳密な制御が放棄されています。要件に応じて、ロボットは自身の形状に完全に依存して全体的な行動の制御を実現できます。これは、複雑な行動知能を実現するために形態学的コンピューティング能力を使用している証拠になります。
二足歩行ロボットのシミュレーションに成功した後、形態学的コンピューティングを利用した一連の生体模倣ロボットが学界に登場し、例えば、能動関節と受動関節を備えた四足歩行ロボット パピー は地形情報を容易に認識することができ [27] 、人工魚ワンダ は最小限の情報しか使用できません。 3次元空間でのナビゲーションを実現する制御量[28]、また、動体検知、操作把握、四足歩行、水中などの機能を実現するための具体的な形状計算については文献[29-30]で列挙・詳細に分析されている。ナビゲーションのデバイス。
近年、機構や材料などの分野の急速な発展に伴い、それに関連する新しい形態も登場しており、例えば文献[31]では四足ロボットの高速動作を実現するための形態学コンピューティングの利用が論じられている。動的な形態学的コンピューティングを使用して、ヘビのようなロボットの周期的な歩行を生成しました。文献 [33] では、触覚表示、センシング、およびインタラクションを目的とした、自然および人工システムの触覚における形態学的計算について説明しています。サバクトビバッタに触発されて、文献 [34] が研究されました。動物の脚 さまざまな地面制御方法に適応し、ガラス、砂岩、木、格子などの表面でロボットの動的接着実験を実行します さらに、オランダの運動彫刻アーティスト テオ ヤンセンが発明した「風力バイオニック ビースト」も信頼できます。機械的原理 自然の風で前進し、その独創的な構造は、物理的変数を変換するためのバランスの合理的な使用にあり、非常に高いエネルギー変換率を備えています[18]。創造の組み合わせは非常に近く、人工的なもののほとんどはデザイン要素は存在しますが、体系的な人工知能技術からの指導がまだ不足しているのが現状です。
2.2 形態素計算の理論モデル
「形態素コンピューティング」の本質については、チューリングマシンモデルのような計算の仕組みよりも、コンピューティングの実現に重点を置いていると一般的に考えられていますが、形態素コンピューティングの大きな可能性のため、多くの学者がその内部メカニズムの解明を進めてきました。ニューラルネットワーク開発の歴史における「XOR」演算の重要な役割を考慮して、文献 [35] では、XOR 演算を実現するためにロボットの形態学を使用する可能性を調査し、いくつかの考えを構築しています。物理的な物体の動的結合がコントローラー設計の困難さを効果的に軽減できることが確認されている 文献 [36] は、プログラマブル動的システムの観点から形態素計算の形式的な解析手法を確立し、形態素計算が非現実的であることを指摘しているロボットのみに適していますが、化学システム、統計物理学、その他の科学分野でも広く使用できます。
形態素計算の理論体系はまだ確立されておらず、その理論モデルも完成していませんが、現在、比較的成熟した 2 つの手法、動的システム手法と情報理論手法が存在しており、この 2 つは相互に排他的ではなく、それぞれを補完することができます。前者、後者の代表的なモデルはリザーブプールの計算モデル、後者の代表的な手法は主にコントローラ複雑度解析手法であり、以下ではこれら2つの側面の進捗をそれぞれ紹介する。
2.2.1 形態素計算のための動的システム解析手法
動的システム手法は主にリザーブ コンピューティング (リザーバー コンピューティング、RC) モデルに基づいており、形状は物理的なリザーブ コンピューティング デバイスとして理解され、パラメーターがランダムに固定される中間層の一種であり、出力層パラメータのニューラルネットワークを訓練するだけでよい ネットワーク構造 調整可能なパラメータは線形最適化問題を解くだけでよいため、ネットワーク訓練は非常に便利である 一方、リザーブプール計算は動的システムを記述する強力な能力を持っている, そのため、形態素計算を分析するための強力なツールとなっています[37]。
文献 [38] では、複数の泉と塊の間のランダムなリンク形式を使用して埋蔵量プール計算モデルを構築し、非線形フィルター近似理論を使用して時系列近似におけるそのパフォーマンスを分析しました (図 4(a) を参照)。シリーズが使える
形態素計算のプロセスを表します。ここで、 y(t) は出力シーケンス、 hd は過去のさまざまな時点で入力 u(t−τ1),⋯,u(t−τd) を変換する積分カーネルです。 Volterra シリーズは連続および非線形の動的システムを表すために使用できるため、多くの形態学的計算プロセスを記述するのに便利に使用できます。
さらに、文献 [39] では、形態素計算における出力フィードバックの役割について議論されており、出力からのフィードバックを導入することで、ネットワークはロボットの歩行などのより複雑な動作を実現できます (図 4(b) を参照)。ロボットの歩行学習における計算モデルの能力をさらに解析し、文献[41]によりこのバネ質量モデルに対する形態計算の入出力方程式を確立し、ロボットダイナミクスを利用した形態計算を実現する代数的手法を確立した。
上記の作業は,形態素計算のための一般的なリザーブプール計算モデルを提供します.一般に,所望の計算能力を達成するためには,対応するリザーブプールは入力分離性やフェーディングメモリなどの条件を満たす必要があります.したがって,フォローアップ作業は主に形態学的コンピューティング機能を記述および実現するために、物理的に実現可能な予備プールのさまざまなコンピューティング モデルを構築するこの意味で、予備プールのコンピューティング モデルに関する研究は、設計を効果的に導くことができ、解析の典型的な例は次のとおりです。上記の研究における質量を剛体ロッドに変えると、テンセグリティ構造を形成することができ、この構造は、複数の分離された圧縮部材と連続した引張部材の相互接続によって形成される自己応力平衡の安定した空間構造で構成され、次の特徴を有する。テンセグリティロボットは、剛構造と柔軟構造の両方を備えており、構造に一定の張力を加えることにより構造全体の崩壊を防ぐだけでなく、衝突時の衝撃を吸収する優れた柔軟性も備えています。構造を持ち、自らの変形により重心位置を変化させて運動を実現するもので、軽量かつ折り畳み可能という特徴を持ち、前世紀半ばに提案されて以来、大きな発展を遂げた[42]。文献 [35] では、4 つの制御入力を使用して 24 自由度のテンセグリティ構造ロボットを制御し、テンセグリティ形状の「計算」機能を具体化しています (図 5 を参照)。複雑な歩行生成を達成する. 安定した歩行戦略を生成するには単純な線形変換のみが必要であることが指摘されている. その主な理由は, このタイプのロボットの形状が複雑な制御計算機能の一部を共有しているためである. 文献[45]はさらには、この種の構造に対する Hebbian 型学習戦略を研究しました。テンセグリティ ロボット機構の最近の開発については、[46-47] を参照してください。
また、文献[48]では、従来の予備プールモデルを四足ロボットの歩行制御の形態計算に適用したところ、予備プール計算モデルに直接単純な線形変換を用いて複雑な形態制御を実現することが困難であることが判明した。この論文では、モデルの記述能力を大幅に向上させる非線形変換層を導入しています (図 6(a) を参照)。文献 [49] では、ロボット魚システムがエコー状態プロパティ (エコー状態プロパティ、つまり、システムの出力は前の入力にのみ依存し、初期状態とは何の関係もありません)、したがって、ロボット魚の水泳特性を使用すると、形態学的計算能力を大幅に向上させることができます (図 6(b) を参照)。 50] は、折り紙構造が十分な動的性能も備えているため、高次の非線形システムをシミュレートするための強力な具体化されたコンピューティング能力を備えていることを指摘しました。この論文では、この現象を新しいロボットのクローリング戦略を実現するために使用します (参照さらに、文献 [51] ではリザーブプール計算を使用して人間の皮膚の形態学的計算能力をシミュレートし、文献 [52] では風速の検出を支援するためにロボット自体のダイナミクスを使用しました。最近のリザーブプール計算の開発は非常に速く、多くの分野で応用されており、特に物理リザーブプール計算、つまり物理デバイスによって実現されるストレージプール計算は、具体化された形式の計算と直接的かつ自然な関係にあります。文献 [53-54] では、物理ストレージ プール計算の最近の進歩について詳細にレビューしています。
物理予備プールの計算に加えて、さまざまな物理的形式を使用してニューラル ネットワーク学習を実現する現在の方法も、さまざまな分野の研究者から大きな注目を集めています。制御可能な物理システムをトレーニングします。光学、機械学、電子工学に基づいてさまざまな物理ニューラル ネットワークをトレーニングすることで、音声や画像の分類などのタスクを実行できます。物理ニューラル ネットワークには、従来の電子システムよりも高速かつエネルギー効率よく機械学習を実行できる可能性があります。ロボットの身体化された形態学的コンピューティングは、豊富な研究アイデアを提供します [56]。
動的システム、特にリザーブプールコンピューティングモデルに基づく方法は、これまでに大きな成功を収めており、他の分野をうまく補完していますが、そのような方法は主に具現化された形態学的コンピューティングを定性的にシミュレートすることを目的としており、定量的な評価が欠けています。形態素計算のメカニズムをさらに解析するには、計算は大きな困難に直面しますが、この点では情報理論手法には明らかな利点があります。
2.2.2 形態素計算のための情報理論的解析手法
形態学的コンピューティングは一般に、特定の物理的実現と密接に関連しており、そのパフォーマンス効果が高度に可視化され、そのパフォーマンスのほとんどが物理実験の形で反映されるため、定性的な分析の方が手間がかかり、定量的な分析が困難な状況になります。実際、形態学的コンピューティング システムのパフォーマンスを測定するために最も重要なことは、その「体」(つまり、物理的形態) の「脳」がどの程度のコンピューティング パワーを負担すべきかを分析することです。この観点から実施することにより、最終的には形態素計算全般の定量的な解析が得られることが期待される。
上記の考えに触発されて、文献 [57] では、形態学的コンピューティングの定量的分析では、脳、実行、環境、センシングを含む認知システムの因果モデルを確立する必要があると指摘しています (図 7 を参照)。状態) ww は、システムの本体と環境の影響を記述するために使用されるマルコフ決定プロセス (MDP) の学習に基づいて導入されています。W を世界状態の集合として定義することにより、S はセンサー状態集合、C はセンサー状態集合ですはコントローラーの内部状態のセット、A はアクションのセット、ΔW、ΔS、ΔC、ΔA はそれぞれセット W、S、C、A 上の確率分布を表し、具体化された形状モデルは次のように定義できます。
そのうち、β(s∣w):W→ΔS はエージェントが環境をどのように認識するかを記述し、φ(c'∣s,c):S×C→ΔC は記憶 c の進化を反映し、π(a∣c): C →ΔA は制御戦略を具体化します。α(w'∣w,a):W×A→ΔW は世界モデルの進化則です。つまり、環境全体の次の状態 w'w' が現在の状態になります。状態 w と実行されたアクション a 影響 メモリ c が無視される場合、つまり φ(c'∣s,c):S×C→ΔC が考慮されない場合、制御戦略は次のように記述されます。
従来の強化学習では、モデルは記憶のない反応型システムに退化します。
このモデルに基づいて、形態学的計算の役割を説明するために、α(w'∣w,a) の縮退ケースを考慮できます。
この縮退状況では、環境の次の状態はアクションによってのみ影響を受けるため、形態学的計算は何の役割も果たさないため、次の環境の状態を評価することが可能です。
それらの間の違いは、形態学的知能の役割を判断するために使用されます。典型的な尺度は、カルバックとライブラーの発散です。
このうち、p(w',w,a) は頻度計数によって推定できる結合分布であり、文献 [58] ではこのモデルに基づいて、神経筋のさまざまなレベルの制御システムにおける形態学的計算の適用が研究されています。 -骨格モデル 移動ロボットのさまざまなセンサー構成における形態学的計算の役割は、[59] で分析されました。
また、制御複雑性の分析の観点から形態知能を評価する研究もいくつかあり、例えば文献[60]では、確率的最適制御手法を用いて、ロボットの形態知能がどの程度の計算量を最適化して実行できるかを分析している。文献 [61] では、動作に対する形状の影響を分析するために、さまざまな形状に対応するコントローラーのエントロピーを比較し、文献 [62] では、エントロピーを使用してマイクロ ロボットの体の複雑さを説明する方法を研究しました。チープ コントロール (チープ コントロール) も、形態学的知能の新しいアイデアを提供します。基本的な考え方は、チープな制御を追求する過程で、システムは形態ベースの身体化知能の役割を十分に活用しなければならないということです。文献 [63] はこのアイデアをさらに紹介していますを強化学習に組み込み、次のような新しい最適化目標を構築します。
このうち、I(S;A)は制御戦略の複雑さを反映し、Q(s,a)は従来の強化学習における長期累積リターン、γは重み付けパラメータであり、上記指標を最適化することで、コントローラーの複雑さは大幅に軽減され、この部分は形態学的計算によって自動的に実行されます。[57] のフレームワークと比較すると、これらの研究はすべて、コントローラーの複雑さを分析することによって、形態学的効果の役割を間接的に分析しています。 、現在の定量的分析結果のほとんどは、実際の物理的形状とは独立した理論的な探索であり、定量的分析を達成するために特定の物理的形状をどのように組み合わせるかは依然として大きな課題です。
2.3 概要
形態を使用して動作を生成する際の主な科学的問題は、「脳」によって処理されるべき計算タスクの一部をどのようにして「身体」に転送するか、および身体によって行われる形態学的計算をどのように正確に評価するかということです。この分野では、機構、材料を組み合わせて、さまざまな機能形態をもった構造物を人為的に設計するだけでなく、埋蔵量計算モデルや情報理論解析手法など、形態計算の理論モデルも大きく進歩し、構造物の設計の指針として利用されています。高次元ロボットの動作制御の分野でよく遭遇する「次元の呪い」（次元の呪い）問題は、形態がもたらす利点を利用することで効果的に克服できる可能性があるため、それに対応して「次元の呪い」と呼ぶこともできます。形態学」。
それにもかかわらず、現在の形態素計算に関する研究は比較的単純な構造に限定されており、形態素計算は主に研究で使用されていますが、形態素構造自体のフィードバック制御に関する研究はほとんどありません。ただし、ループを使用して平衡状態を取得するには、柔軟な制御タスクには十分ではありません。
最後に、このセクションで説明する構造形状の設計手法は、主に設計者のインスピレーションに依存しており、体系的な設計アイデアを形成することが困難であることがわかりますが、人工知能技術の発展に伴い、効率的な最適化手法と機械学習が可能であれば、テクノロジーを使用して形状設計を最適化することは、非常に可能性のある研究方向であり、この分野の研究活動は広く注目されています。この論文の次の 2 つのセクションでは、形状の制御と自動生成に関する関連する進歩を要約します。 。
3. 学習に基づく形態制御
学習を使用して形状制御を実現する主流の方法は強化学習です。その中心的なアイデアは、エージェントとリンクの間の相互作用を使用して戦略を学習することです。しかし、身体化されたインテリジェンスにはエージェントの構造に対する高い要件があります。そのようなコントローラーを設計する場合、複雑な形状の場合、従来の強化学習は形状の特徴を無視し、多くの場合、異なる部分の観察を単純につなぎ合わせてすべての制御変数を直接出力するため、探索空間が大きくなり、異なる部分での特定が困難になります。学習ベースの形態制御では、エージェントの形態情報をコントローラーの学習プロセスにどのように効果的に統合して学習効率を向上させるかが課題となる. このセクションでは、まず特定の形態に対する強化学習について紹介します。強化学習に形態素情報をどのように導入するか、形態素間の移行をどのように実現するか、欠陥形態への対処方法など（3.1節）とTransformer法（3.3節）の研究成果を紹介します。
3.1 形態制御のための強化学習アプローチ
具現化されたエージェントの形式が異なるため, 異なる形式に適応できるコントローラーを設計することは非常に困難です. 文献 [64] では、強化学習のポリシー ネットワークでロボットの形式とタスクを分解する方法が提案されています。統一政策の文献 [65] では、戦略は現在の状態とエージェント自身の能力に応じて次の瞬間の行動行動を決定する必要があるため、θ でパラメータ化された制御戦略 πθ(⋅) は、状態 st に関連する, エージェントの形態の形態学的潜在埋め込み (vh)vh) にも関連する必要があります. 形態のベクトル表現を解決するために, 著者は明示的エンコードと暗黙的エンコードの戦略を提案します.明示的エンコーディングは、エージェントの異なる関節の相対姿勢を 1 つずつ連結して表現ベクトルを形成し、運動学的構造のモデリングに便利です。このエンコーディング方法は事前情報を使用しますが、そのエンコード方法には制限があります。単純なスプライシングに対応するため、シリアル形式にのみ適しています。より複雑な形式は適用が困難です。暗黙的エンコードの方法は、反復学習戦略 πθ を最適化するプロセスで戦略 πθ(at∣st,vh) を最適化することです。また、フォームの表現 vh を反復的に最適化する、つまり、アルゴリズムは状態からアクションへの最適なマッピングを検索するだけでなく、形状の最適な表現も見つけることができます。異なる自由度を持つ同じ種類のエージェントを使用する場合、学習プロセス中に同期的な反復最適化が必要になります。形状の埋め込み表現を計算することは、最適化に新たな困難をもたらすだけでなく、エージェント自身の形状事前情報を十分に活用できません。
強化学習法を用いて形態制御を実現する主な目的は、異なる形態間の移行問題を解決することであるが、異なる形態のエージェントの場合、対応する状態空間と動作空間が異なるため、直接的なポリシーの伝達は困難である。文献 [66] では、階層分解の戦略を使用することを提案しており、上位の戦略のみが転送され、基礎となる戦略は独立して学習されますが、上位の戦略と下位の戦略の結合により、この方法の問題点は、エージェント間の知性の形態が大きく異なる場合、上位レベルの戦略の伝達も成功しにくいことである。形状と最下層の動作を調整して、さまざまな形式のエージェントの最下層戦略の調整を実現します。
さらに、文献 [67] では、ツールを体の一部 (Tool-as-embodiment) と見なしており、同じ表現空間を使用して手オブジェクトとツールオブジェクトの間の関係を表現しているため、単一の戦略を使用して再帰的に実行できます。文献 [68] では、形態学的欠陥の問題に対する敵対的強化学習の方法が提案されています。
一般に,形態学的情報を強化学習メカニズムに統合して伝達可能なポリシー学習を実現することは,形態学的制御における重要な研究課題となっている.ロボット形態の複雑さの影響を受け,初期の研究作業は比較的分散している.近年,グラフニューラルネットワーク, Transformer などのツールの急速な開発により、具体化されたフォーム制御を効率的に学習するための新しく効果的なアイデアが提供されます。
3.2 グラフニューラルネットワークによる形態学習制御
強化学習の分野では、学習効率を向上させるためにグラフ構造を導入した作品は数多くあるが、その多くはエージェントそのものの形状ではなく、エージェントが存在する環境をグラフ構造で記述することに限定されている[69]。 -70]. 実際、多くのロボット、動物の体型さえも離散グラフ構造 G=(V,E) として記述できます。グラフのノード v∈V はエージェントの関節を表すことができ、エッジ e∈E は、ジョイント間の依存関係 (物理的または非物理的である可能性があります) を表すことができます。この関係を説明する強力なツールは、グラフ ニューラル ネットワーク (グラフ ニューラル ネットワーク、GNN)[71] です。ネットワークでは、各ノードは独自の履歴状態を使用し、他のノードから受信したメッセージを使用して自身の状態を更新するため、分散コンピューティング アーキテクチャと同様の同期メッセージ パッシング メカニズムを使用して、前向き推論を実現できます。さまざまな形式 (さまざまな状態次元とアクション空間次元に対応) この特徴は多くの学者の注目を集めています 文献 [72] では、エージェントの形態学的構造情報をコントローラーの学習に統合するための NerveNet と呼ばれるモデルが提案されています (図 8 を参照) (a)). NerveNet の各ノードは、観測ベクトルから必要な入力情報を取得し、それを処理した後にメッセージとして隣接ノードに渡し、各ノードの隠れ状態を更新します。 k番目のアクチュエータ
の場合、すべてのノードの出力モデルの組み合わせによって制御戦略が生成されます。
このうち、集合 O は出力ノードの集合であり、学習プロセス全体は強化学習問題として記述することができ、形態構造を完全に統合するこの方法は、構造転移学習 (形態サイズの転移を含む) の実現に役立ちます。 9 は、いくつかの典型的な MuJoCo および OpenAI Gym シミュレーション環境におけるロボットの形式に対応するグラフ構造です。文献 [73] では、高度な問題を解決するために NerveNet に基づいてグラフ ニューラル ネットワークをトレーニングするためのパラメーター フリージング テクノロジーが紹介されています。 -次元の連続制御の問題。
文献 [72] で提案されている手法は形態学的情報を効果的に利用していますが、グラフ構造の異なるノード (実際には首や足などの物理的な部分に相当します) ごとに異なる戦略を設計する必要があります。提案 さまざまな形式のエージェントの共有ポリシー学習構造が示されています (図 8(b) を参照)。中心となるのは、エージェントの形式をさまざまな独立したモジュールに分解することです。つまり、戦略の動作は πθ(st ,vh)、パラメータ θ はすべてのモジュールで共有されます。k 番目のモジュールの戦略は次のように表されます。
の、
k番目のモジュールに対応する状態として記録され、
ノード k を入力する隣接ノード集合 C(k) 内のすべてのノードのメッセージを記録し、f(⋅) は自己定義のメッセージ集約関数ですこの設計は、独立したモジュールの制御戦略を独立して設計できるため、使用できますさまざまな形態に対応 統一制御を実現し、コントローラ設計の事前学習モデルに有用なアイデアを提供します。
最近、文献 [75] では、グラフ ニューラル ネットワークを使用してモジュール間のタイプ構造情報 (脚、車輪、胴体など) を記述し、同様の構造のモジュールが制御戦略を共有し、それらをモデルベースに組み込むことができることを指摘しています。強化 学習中、検索スペースは大幅に削減され、実際の物理検証に適用されます (図 10 を参照)。
全体として、グラフ ニューラル ネットワークを使用する基本的な出発点は、エージェントの形状がコントローラーの学習に有益な誘導バイアス (誘導バイアス) を生成できることです。異なる間の効率的な移行についてはさらなる研究が必要です。形態。
3.3 Transformer ベースの形態素学習制御
グラフ構造は形状制御において重要な役割を果たしますが、具体化されたエージェントの形状は一般に疎なグラフ構造であるため、多くの重要な情報が複数ラウンドのメッセージ パッシングに容易に埋もれ、これが「過度の平滑化」につながります。 Transformer はセルフアテンション機構に基づくモデルとして近年高い注目を集めている [76]．全結合グラフニューラルネットワーク上のグラフとみなされるため、文献 [77] では、Transformer を直接使用して、異なるコンポーネント間のメッセージ送信を実現しています (図の点線の矢印を参照)。ロボットの実際の物理的形状の影響は無視され、文献 [78] ではさらに、エージェント ノードの位置情報が自己注意メカニズムに果たす役割と、形状 (主に位置) に埋め込まれた Transformer モデル (参照) が明らかになりました。図 11(b)) は、異種形式の共同ポリシー学習に使用されており、従来のグラフ ニューラル ネットワークの疎な構造によって引き起こされる過度の平滑化の問題を克服します。
さらに、文献[79]は大規模なエージェント形態制御問題を対象としており、形態を入力Transformerモダリティとみなして、多数の異なる形態制御を解くための「変態」(MetaMorph)を構築することで一般的な戦略を学習している。同時に問題を解決し（図 11(c) を参照）、身体化された形態学的学習の大規模な事前トレーニングの基礎を築きます。
3.4 概要
高次元性、非線形性、強結合などの影響を受けるため、強化学習手法を用いて複雑なエージェントの形態制御を実現することは非常に困難な課題ですが、ロボット自体の形状は非常に重要で有用な事前情報を提供します。着陸は探索空間を大きく制限する可能性があるため、この分野における主な科学的問題は、学習効率を向上させるために適切な方法で形状情報を学習アルゴリズムに導入し、他の未知の形状に移行する際のパフォーマンスを確保する方法です。現在の代表的な手法としては、グラフニューラルネットワークを用いて形態構造を表現する方法や、Transformer構造を用いて形態特徴を記述する方法などがあり、現在も主にこれらの研究が集中している。シミュレーション環境や学習された戦略を物理システムに移す際に問題が発生する一方で、異なる形態ロボットの特性に応じて統合された形態コントローラを設計することは非常に魅力的ですが、非常に困難でもあります。近年の言語と視覚の分野における大規模モデルの事前トレーニングに触発され、さまざまな形式のエージェントに対して統一された事前トレーニング大規模モデルを確立できるかどうかも、将来の重要な開発方向です。
4. 学習ベースの形態最適化
上記の 2 つのセクションでは、形態素計算と形態素制御の重要な発展をそれぞれ概観しましたが、その中でも形態素計算部分は繊細な構造形状を手作業で設計する必要があり、設計者にとって非常に困難な作業です。形態学的知能の研究を大幅に促進できる一方、形態学的制御部分は、主に学習フレームワークの下でさまざまな形の形態学的情報を統合し、コントローラーの学習効率と汎化能力を向上させます。この学習ベースのコントローラーの設計アイデアは、形状設計にも当然拡張され、形状と制御の共同最適化学習を実現します。
学習アイデアを使用した脳と体の共進化の実現は、身体化知能の初期の研究で十分な注目を集めており [4]、進化ロボット、人工生命などと呼ばれることもあります。 しかし、初期の研究は主に進化学習の使用に焦点を当てていました。特定の最適化アルゴリズムを使用する形態学的ロボットの制御戦略は、ロボットの形状に影響を与えません [80]。
文献 [81] は、仮想環境における形状とコントローラの協調最適化を実現するために進化学習フレームワークを初めて使用したものであり、この文献では 3 次元剛体ロボットの構造を有向グラフ遺伝子表現として表現し、進化的学習フレームワークを使用しました。ロボットの形状設計を最適化するためのグラフ上のアルゴリズム。この研究は、ロボットが環境やタスクによりよく適合する形状を検索するのに役立つため、広く注目されています[82-88]。特に文献[83-84]では、可変長円筒型進化ロボット（図 12 参照） 本論文では、歩行能力を適応度関数の評価として使用し、シミュレーション環境で約 300 ～ 600 世代の反復後に進化を完了することができます。商業化されたラピッドプロトタイピング技術は、それを物理システムに変換するために使用されます (モーターには追加の設置が必要です). この研究では、いくつかの興味深い発見も得られました. たとえば、アルゴリズムには形態学的対称性の仕様はありませんが、最終的に生成された形態は強力な結果を示しますセンサーを使用しないと、設計されたロボットは異なるモード、形状、動作を生成することしかできず、環境と相互作用することができないためです。
文献 [89] はこの考えをさらに発展させ、回転関節で接続された球形に対して複合パターン生成ネットワーク (CPPN) を使用することで間接符号化戦略を設計し、多重解像度形状の生成を効果的に実現しました。形状と制御の進化 (図 13 を参照) 文献 [90] は、形状と制御の共進化は脳と体の調整のシミュレーションに似ているが、環境の影響を無視していると指摘しています。変化する条件下でのロボットは、環境の複雑さが形態の複雑さに及ぼす影響を検証し、三角形メッシュに基づくボクセル法を使用してより複雑な形態を構築します。
形状と制御の協調的な最適化は今世紀初頭にある程度の進歩を遂げましたが、最適化プロセスはソフトウェアとハードウェアのシミュレーション条件の制限によって制限されているため、大きな進歩は見られませんでした。 3D プリンティングの発展 高度な積層造形技術、グラフィックス シミュレーションおよびレンダリング技術、GPU に代表される計算能力技術の急速な発展に伴い、進化的最適化や強化学習などの手法が形状と制御の協調最適化において大きな成果を上げ、このセクションでは、形状制御協調最適化における「進化的強化学習」を含むいくつかの手法の適用を、シミュレーション環境と物理環境の観点から説明します。
4.1 シミュレーション環境での協調最適化
研究の初期段階では、形状と制御の協調最適化は主に文献 [81、83、89] などの進化的探索手法に基づいていましたが、近年、この分野の研究は主に特定のタスク要件に対するさまざまな形態学的コーディング手法の研究 [92 -94] が、パラメータ空間が大きいため (形態学的パラメータの探索とコントローラ パラメータの探索を含む) 進化的探索が困難であるという既存の問題が依然として存在します。
形態と制御は一緒に最適化されるべきですが、実際には両者は異なるスケールで最適化されており、生物を例にとると、形態（構造やパラメータを含む）の変化は進化の過程、つまり長期的なものに似ています。環境適応プロセス進化の過程を通じて自身の構造とパラメータを最適化する;コントローラーの設計プロセスは後天的な学習プロセスに似ています、つまり、形状が決定された後、運動の限界に到達するために一生懸命努力しますしたがって、進化的最適化手法を使用して形態構造とパラメータを最適化し、強化学習戦略を使用して制御構造とパラメータの最適化を実現することは、非常に自然なアイデアです。パラメータは 2 つのループに入れ子になっており、進化的最適化手法は外側のループ、強化学習は内部サイクルです [72] で提案されたグラフ ニューラル ネットワーク コントローラーに基づいて、文献 [95] で形状設計が説明されていますロボットをグラフ探索問題として解析し、母集団の概念を導入し、ノードの追加・削除が可能なコントローラを設計する 突然変異オペレータ、グラフ上の進化的探索を実現する コントローラとしてグラフニューラルネットワークを使用することで、コントローラ間でパラメータを共有できるため、コントローラーの学習時間を大幅に短縮し、形態学的パフォーマンスの効率的な評価に貢献する 文献 [96] は、「進化的プレイグラウンド」と呼ばれる環境を開発し、身体化された知能と身体的知能との関係を調査するための「深層進化的強化学習」と呼ばれる計算フレームワークを開発した。本論文でもこの形態学的進化学習メカニズムを利用し、進化生物学における「ボールドウィン効果」を検証した。
進化的アルゴリズムは本質的にゼロ次最適化に相当するため効率が低いが、近年の強化学習の急速な進歩に頼って、強化学習手法を用いて最適化形式や制御を統一しようとする学者もいる。 , 文献[97]は、設計パラメータと制御パラメータを近接戦略最適化法によって共同計算します。形状探索空間が大きすぎて、形状探索と制御を切り離すのが難しいため、学習の収束は非常に困難です。 , 著者は形状検索の空間を制限し、指定された形状のみをターゲットにすることができます。形状はロボットのコンポーネントのパラメータを最適化しますが、ロボットの構造は最適化しません（図 14 を参照）。これに基づいて、文献 [98]強化学習を用いて脚式ソフトロボットの形状探索と政策制御学習を実現し、さらにシミュレーションから物理への移行を実現します。
文献 [99] は、自己組織化形態エージェントを対象としており、アクション空間での形態と制御を統一し、強化学習問題として形態探索と制御設計を記述し、その形態とエージェントを作成するための対応する動的グラフ ネットワーク コントローラーを設計しています。形態マッチング 文献 [100] では強化学習を用いて障害物通過問題の形状と制御戦略の共同学習を実現 文献 [101] では形状変形と制御最適化を学習プロセスの 2 段階に分け、ポリシー勾配法を使用形状と制御戦略を共同で最適化する 制御アクション 最近、文献 [102-103] では、形状と制御の協調最適化の強化学習フレームワークにグラフ ニューラル ネットワークを導入し、形状学習の物理的伝達に実行可能な方法を提供しています。 。
現在、形状と制御の結合最適化手法をマニピュレータの形状設計最適化に適用する試みがなされているが、この際の主な課題は、最適化された形状を操作対象物体や把持対象物に適応させることである。文献[104]は、マニピュレータの形状最適化を解くために適用され、グラフ要素ネットワークの導入と、カスタマイズされた2本の指の形状の微調整によって検索効率が向上します。フィンガーグリッパーを実現する（図 15(a) 参照） 文献 [105] パワー把握、ピンチ把握、側方把握の 3 種類の把握タスクを対象とし、マニピュレータの形状パラメータと制御パラメータを公共潜在空間に投影（潜在空間）、ベイジアン最適化アルゴリズムを使用して、手の形状を操作する最適な方法を探索することが提案されています（図 15(b) を参照）。
最近、コンピュータグラフィックスの観点から、文献 [106] により、ケージベース変形モデル (CBD) を使用した一般的な形状表現の手法が設計されており、この手法の主な利点は、より少ないパラメータで豊富な形状を記述できることです。モデルを微分可能なシミュレータで構築すると、エンドツーエンドの学習方法が形成されます。
4.2 物理環境における協調的な最適化
形状と制御の共同最適化プロセスで使用される進化的最適化、強化学習、その他の戦略により、学習プロセス全体をシミュレーション環境で実行する必要がありますが、人々は学習した形状を物理的に実現する努力を放棄していません。実際、物理環境で検証されたパフォーマンスのみが学習の効果をよりよく反映できるということもあります。2000 年には文献 [83] で、進化した形状を作成および実現するための 3D プリンティング技術の使用が研究されていましたが、シミュレーションと物理世界ではそれらの間に大きな違いがあり、シミュレーション環境で満足のいく性能の形状が得られた後に期待した効果を達成することが困難であることが判明した[107]。この問題を解決するために、文献[文献 [108] は連続形状モデリング法を提案し、文献 [108] 109] ではシミュレーションから物理環境への移行効果を最適化プロセスに統合する方法が検討され、文献 [110] ではシミュレーションの物理的差異と形状の関係がさらに検討されました。羽ばたき翼航空機の形態学的複雑性を研究し、この関係は単調ではないことを指摘しました。
形態素学習によって得られた形状を物理的に実現する方法については、現在、3D プリンティング技術を使用して一部の部品を作成し、それを既存のロボット プラットフォームに搭載する [111] 、または 3D プリンティングによって直接部品を作成するなど、いくつかの異なる解決策が存在します。もちろん、最も直接的な方法は、形態素学習をハードウェア プラットフォームに直接実装することです。
現在の研究のほとんどはシミュレーションにとどまっており、一部の研究はさまざまなタイプのロボットを対象としており、最初にシミュレーション環境で形態進化を実行し、次に移行技術を使用して脚式ロボットなどの物理システムに移行しています[112-113]。 、ソフト ロボット [114] 、モジュラー ロボット [115] (図 16 を参照)。これらの作品のほとんどは、「シミュレーションから物理へ」の移行モデルに従っています。文献 [115] は、RoboGen と呼ばれるソフトウェア シミュレーション システムを開発しました。ロボットの形態進化に対応しており、3Dプリンティングと組み合わせて、大学院教育の宿題として設計されています。
ロボットコンポーネントの多様性と継続的なコスト削減により、直接的な物理システムの形態学的適応と進化が可能になります。文献 [116] では、ロボットアームを使用してさまざまなモジュール (アクティブモジュールとパッシブモジュールを含む) を操作しています。進化最適化選択を達成するための組み立てられた形態の実際の能力評価 (歩行能力など) により、物理ロボット システムの直接的な形態進化が実現されます (図 17 を参照)。 , この論文の研究は、実際にはシミュレーション システムの対応する物理的な実現であり、実際のロボットの形態学的学習からはまだ遠く離れています. 最近、文献 [117-118] で設計された 4 足ロボットには、直線が設置されています大腿骨と脛骨では、モーターの長さをそれぞれ 50 mm と 100 mm 延長することができます [119] (図 18 を参照) これらの最適化自由度に基づいて、物理的形態進化の直接学習方法が完成します。全体として、言い換えれば、物理システム上での形態進化の直接的な研究はまだ非常に初期段階にあり、最適化できるパラメータも非常に限られています。
4.3 概要
一般に、学習を利用した形態最適化における主な科学的課題は、形態構造と制御の連成最適化をいかに効率的に実現するかであり、上記に列挙した関連研究は主に以下の3つにまとめられる。
1) 形式と制御の両方に進化的最適化を使用する このタイプの手法は実装が容易ですが、探索効率が非常に低く、問題の特性に応じて形式と制御のコーディングを最適化する必要があります。 、コントローラーの最適化空間が限られているため、より正確に学習することは困難です。制御アクションは、高い制御精度は必要とされないが、高度な形態構造が必要なシーンに適しています。
2) 形態進化には進化最適化、制御には強化学習を用いる進化最適化と強化学習の利点を総合的に活用した手法であり、特に形態進化の多時間スケールの結合関係をどのように統合的に調整するか、個体発生的制御の最適化や個体発生的知的学習も、今後重点的に取り組むべき課題です。
3) 形状と制御の両方で強化学習を使用します. この方法は強化学習を使用して形状と制御のパラメータを最適化します. この方法は比較的直観的ですが, 強化学習の検索能力によって制限されます. 制約の下での検索フォームのパラメータ形態学的構造がすでに相対的に形成されているシナリオを微調整するのに適しています。
現在の研究作業のほとんどはまだシミュレーション環境による検証であり、微細材料の最適化はまだ始まっていませんが、形態進化の結果をどのように物理システムに転送するか、あるいは物理システムに基づいて直接進化させるかはフロンティアです。加えて、形状設計のための機構科学の分野では、これらの経験的情報をどのように導入するか、また関連する物理的制約や外部制約などについて、既に多くの成熟したルールと経験が存在していることも注目に値します。データ駆動型の学習方法を組み合わせて形状を最適化するための知識ガイダンスと制御の設計は、学習効率を向上させるための鋭いツールになります。
5. 典型的なケース — ソフトロボット
上記の研究は手法の研究に焦点を当てているため、主にシミュレーションシーンにおけるいくつかの典型的な身体化エージェントを対象としています. 形態学的知能に関連する研究作業は特定のタスクと密接に関連している必要があります. 近年のソフトロボットには特徴があり、 [120]. ソフトロボットは、剛体ロボットと比較して、複雑な道路での走行や未知の目標での動作に大きな利点を持っており、その複雑な身体ダイナミクス（高次元、弾性など）により、ソフトロボットの制御は困難です。非常に困難ですが、身体化された形態学的コンピューティングの観点からは、このような複雑なダイナミクスは貴重なコンピューティング リソースです。ソフト ロボット自体は形態学的コンピューティング デバイスと見なすことができ、身体化された知能研究にとって理想的なプラットフォームですが、そのほとんどは近年重要な成果があげられていますが、開発過程では身体化形態学的コンピューティングの理論モデルの研究の影響を受けているため、本稿では別途説明します。
5.1 ソフトロボットに基づく形態学的計算
ソフトボディが自身の形状や機構特性を変えることで複雑な動きを達成できることは多くの研究で検証されている[121-125]が、研究のほとんどはソフトボディの環境への受動的適応に限定されており、能動的に適応する研究はほとんどない。文献[126]は、長時間水に浸した柔らかい素材によって生じるシワが、いくつかのコンピューティングタスクの実現に役立ち、それを能動的な触覚知覚に適用できることを指摘しています。文献[127]は、ソフトハプティック形態学的コンピューティングを使用して能動的な触覚を実現します。また、文献[128]ではソフトグリッパについて、ソフトシリコンの減衰挙動を調整する方法を検討し、動的形状計算を実現し、文献[129]では、ソフトロボットの形状設計手法をいくつか列挙している。 Advanced Robotics と IEEE RAM は 2018 年と 2020 年の両方で形態学的コンピューティングの特集を開催し、ソフト ロボットの重要な位置を強調しました [22-23]。
物理ストレージ プールの計算は、ソフト ロボットを使用することによっても実現できます。文献 [130] では、タコの形状からインスピレーションを得た柔らかい触手をストレージ プール計算デバイスとして使用し、線形出力と静的出力を導出することで複雑な非線形挙動をシミュレートできます。物理的な本体からの制御と、外部コントローラなしで、リミット サイクルに収束することによって閉ループ制御を実現できます。この研究に基づいて、文献 [131] では、非線形連続関数に対するこのタイプのソフト ロボットの近似および制御機能が実証されています。文献 [132] は、このプラットフォームを使用して時系列予測や異常検出などのタスクを研究しました (図 19(a) を参照)。文献 [133] はさらに、このメカニズムを使用して水中ターゲットの検出と測位を実現しました (図 19(b) を参照)さらに、文献 [134] では、ソフトハンドの形態学的計算の範囲を拡大し、空気圧ソフトハンドの予備プールモデルを開発しました。ソフトロボットは、非常に有望なロボット形式として、重要な開発となっていることがわかります。形態学的計算のこの方向では、ソフト ロボットの開発は間違いなく、身体化されたフォーム コンピューティングの新しい波を推進するでしょう。
5.2 ソフトロボットの形態制御
ソフトロボットは典型的な非作動システム（コントローラーの自由度が出力の自由度よりもはるかに低い）であり、分布パラメータや連続力学の影響により、高精度かつ柔軟に制御するのは容易ではありません。 . 一般的なソフトロボットに対する一般的な制御方法はありません. ソフトロボットの形態学的特徴をコントローラ設計プロセスに統合することは比較的効果的な方法です. 文献[135]はソフトロボットの制御における形態学の役割を調査しています. しかし、それは主に.機構モデリング設計手法に限定。
ソフトロボットの形状や制御は複雑であるため、強化学習やその他のアイデアを使用して、より一般的または応用可能な制御戦略を設計することが重要な傾向となっていますが、強化学習を使用したソフトウェアロボット制御アルゴリズムの設計には多くの課題もあります。学習のフレームワーク、ソフトロボットの状態を効果的に表現する方法、ソフトロボットと環境の間の相互作用を記述する方法、ソフトロボットの特殊な構造と材料特性をマイニングする方法、およびソフトロボット間の移行を実現する方法文献 [136] では、ソフト ロボットのナビゲーションと操作における深層強化学習のいくつかの応用をレビューしており、文献 [137-138] では、いくつかの典型的な強化学習アルゴリズムに対するソフト マニピュレータの制御戦略も実現しています。しかし、これらの研究はソフトロボットの形態的特徴のマイニングを繰り返すものではないため、サンプルの利用効率が低く、一部の単純な形態的構造にしか適用できません。
3.2 節と 3.3 節で述べたように、ソフトロボットの形態構造を効果的に表現し、強化学習のフレームワークに組み込むことができれば、学習効率を大幅に向上させ、転移性を向上させることができます。予備的な研究成果が最近登場しました。たとえば、文献 [139] は当初、ソフト ロボットと環境の間の相互作用を説明するためにグラフ理論手法を導入しようとしました。文献 [140] は、グラフ ニューラル ネットワークを使用してソフト マニピュレータの非剛体運動を変換しました。学習チェーンの学習を陽的接続グラフの学習に変換し、このモデルを学習するための教師なし学習手法が提案されている 文献[141]でもソフトロボットの逆運動学モデル学習を逐次予測問題として捉え、設計を行っているTransformer 構造はモデル推定を実現するために使用されますが、一般的に言えば、ソフトロボットの形態学習制御に関する現在の研究はまだ非常に予備的です。
形態素学習制御の研究を強化するために、多くの学者が Elastica[142]、SofaGym[143]、 SoMoGym[144] など。これらの環境は、ソフト ロボットの形態学的学習制御に関するさらなる研究に便利です。
5.3 ソフトロボットの形態最適化
前述のように、ソフトロボットは形状計算と形状制御のための重要なツールとなっているため、その形状の最適化も共通の関心事ですが、ここ数年ロボットの形状進化に関する研究が遅れている大きな理由は次のとおりです。それは主に剛性の考慮に焦点を当てています.要素の有限の組み合わせ, これは自然界の生物における物質関連の進化とはまったく異なります. この目的のために、文献[145]は遺伝的アルゴリズムを使用してボクセル構造の形状最適化を実現しています複数の材料特性を含むソフト ロボット 文献 [92] さまざまな材料のボクセル モデルの形状が研究され (骨、組織、筋肉などを単純にシミュレートできます)、直接コーディングと間接コーディングの長所と短所が次のようになります。文献 [146] はロボット形状の物理シミュレーションに制御システムをさらに埋め込み、いわゆる進化型電気生理学的ソフト ロボット (Evolved electricphysiological Soft robots) を提案しました。最近、文献 [94] は 3D ボクセル ソフトの形態進化を実現しました。直接コーディングによってロボットを作成し、それを生物体の実現に適用しました (図 20 を参照)。
図 20 ソフトロボットの形態的進化 (異なる色は異なる材料特性に対応する)
3 次元ソフト ロボットの形状の最適化、制御、製造には大きな困難があるため、関連する研究作業の一部は、2 次元のボクセル ベースのソフト ロボット (ボクセル ベースのソフト ロボット、VSR) の進化学習に移行し始めています。 [147-148 ]. 参考文献 [149] も、ソフトロボットの「変形」現象を研究するために進化アルゴリズムを使用しました。研究のほとんどは主に形態進化自体を考慮しており、環境のプロセスにおける制御の最適化についてはあまり考慮されていませんでした。この問題を考慮して、参考文献 [150] では、ソフトロボットの形状制御協調設計を実現するために強化学習と組み合わせた進化的最適化の複合構造を提案し、2 次元 VSR 用の Evolution Gym 環境を開発しました。走る、段差を登る、よじ登る、物を運ぶなど、30種類のタスク環境。エボリューションジムのロボットは、自由に変形できる柔らかいセル、自由に変形できる硬いセルなど、多くの「セル」を基本単位として構成されています。この柔軟な形状により、ロボットはその形状を自由に「進化」させ、最終的にはさまざまな地形上のオブジェクトの移動や操作などの一連のタスクを完了できます (図 21 を参照)。
6. まとめと展望
この論文では、形態学的コンピューティング、形態学的制御、および形態学的制御の協調最適化という 3 つの重要な問題について議論し、関連する重要な進歩をレビューします。具体的には、物理デバイスと理論モデルに基づいて形態学的コンピューティングの動作を分析します。学習ベースの形態学的制御をさまざまなアルゴリズムの観点から分析し、学習ベースの形態学的最適化をシミュレーション環境と物理的実現の観点から分析し、関連する進歩をソフトロボットを典型的なケースとして取り上げて詳細に分析します。
強調する必要があるのは、図 1 のアーキテクチャにおいて、点線は「行動を利用して学習を実現する」ということが身体性知能研究における最も最先端の方向性であることを示しているということです。機械学習は人工知能の重要な分野として開発されてきましたが、しかし、その主な学習パラダイムは依然として収集されたデータサンプルに基づく学習であり、サンプルの収集プロセスには十分な注意が払われていません。環境とのインタラクションの過程における問題はまだ解決されていませんが、エージェントの身体化された行動に基づく学習メカニズムは、データ収集とモデル学習を統合し、真にアクティブな対話型学習を実現できます。人間の学習プロセス. しかし、現在、研究作業は始まったばかりであり、その主な特徴は、主流の視覚認識タスクのナビゲーションを通じてトレーニング サンプルを効率的に取得する方法を研究することです. たとえば、ターゲット検出タスクについては、文献 [151] で意味論的好奇心が導入されています身体化された知能としてのメカニズム 文献 [152] では、物体検出器の継続的改善のための方法を設計するための自己教師あり学習メカニズムがさらに紹介されており、文献 [153-154] では、物体セグメンテーションと 3D 物体検出に関する関連研究が実施されています。 ] では、視覚と触覚の共同学習を実現するためにロボットの物理的特性を直接利用することも研究されており、この分野の研究は現在も急速に発展しています。
全文の要約として、私たちは上記の側面を全体として捉え、この問題を身体化された知性の巨視的な観点から再検討します. 図 22 は、この問題の全体的な概要です.形態制御は形態知能の中核であると認識されているが、現時点で実現できる機能はまだ比較的限られており、複雑な形態要件や機能要件に対しては、そのほとんどが依然として強化学習に基づく手法を必要としている。適切な形状の検索を最適化することは、形状の設計と生成の将来の開発方向です。現在、この分野の研究は大きく進歩していますが、実際の物理環境で複雑な形状の生成をサポートすることはまだ困難です。 。
さらに、将来的にブレークスルーを達成すると予想される重要な開発方向には次のものがあります。
-
1) 形態学的創発：現在、形態学的計算と形態学的生成は基本的に分離されているが、身体性コンピューティングに関して言えば、その多くは物理的制約に基づいて人工的に形態を設計するものであり、形態学的進化と制御をどのように組み合わせて自律的な形態を実現するか創発は、将来的にフォームベースの身体化インテリジェンスをアプリケーションに推し進めるための重要な問題です。
-
2) 知覚進化: 形態的進化に関する現在の研究のほとんどは形態的コントローラと結合されており, その形態的最適化の目的は主により良い制御効果を得ることである. 実際に具現化されたエージェントは豊富な知覚と実行能力を備えているが, エージェントの進化はこれらの知覚および実行能力は、現時点では未解決の課題であるが、将来の研究では、より効率的な身体化知能タスクを達成するために、身体化エージェントが生物学的進化の法則と同様の知覚および実行コンポーネントの進化能力を有することが期待される。
-
3) 物理的実装: シミュレーション最適化の結果を実際の物理システムに移すための形状最適化と制御学習の側面ではいくつかの取り組みが行われていますが、特に物理的反復を直接最適化する作業はまだ長いです。これはまだ非常に初期の段階にありますが、仮想現実技術と材料科学の進歩により、シミュレーションから物理学への移行は、身体化されたエージェントの物理的実現の基礎を築くに違いありません。
-
4) マルチエージェントのコラボレーション: フォームベースの身体化知能に関する現在の研究作業は、まだほとんどが単一の身体に限定されています。進化的最適化のプロセスでは、複数のエージェントによって構築された集団が最適化に参加していることがわかりますが、それらは、最適化目標, その目的は適者生存を通じて最良の個体を選択することだけである. マルチエージェントの形態学的発達と実際のタスクのための制御最適化に関する関連する報告はない. これは将来の開発の重要な方向性でもある [156].
最後に、私たちは、身体化された知能は非常に重要ですが、それ自体の限界もあることをもう一度強調します。おそらく、現在の理論とアルゴリズム ツールは、身体化された形態の記述、理解、生成を十分にサポートすることができません。 INT の緊密な組み合わせが、一般的な知能を達成する唯一の方法です。この論文で要約された関連する進歩から、深層学習を含むコネクショニスト手法が身体性知能の研究に広く使用されていることがわかります [157]。シーン グラフの関連技術は、身体化された知覚の研究にも導入されており [158-160]、シーンの理解とナビゲーション制御の総合的なパフォーマンスを大幅に向上させることができます。インタラクティブ行動主義は人工知能技術の実現への重要なアプローチであることを強調し,身体化人工知能の研究はさまざまな分野からの栄養素を十分に吸収し,実際のシナリオにおける知的行動の生成を解決するために努力する必要がある.この意味で,我々はあまり注目すべきではないなぜ人工知能を具体化する必要があるのかに焦点を当て、人工知能をどのように具体化するかについてさらなる探求が行われる必要があります。
免責事項：公式アカウントに転載された記事や写真は、参考や議論のための非営利の教育および科学研究を目的としたものであり、その見解を支持したり、その内容の信頼性を確認したりするものではありません。著作権は原著作者に帰属しますので、転載原稿に著作権等の問題があった場合は、速やかに削除のご連絡をお願いします。
「人工知能技術とコンサルティング」をリリース