- 论文信息：サントロA、Bartunov S、Botvinick M、ら。メモリ拡張型ニューラルネットワークによるワンショット学習[J]。arXivのプレプリントarXivの：1605.06065、2016。
- 博文作者：Veagau
- 編集時間：2020年1月7日
この記事では、ICML 2016会議論文、GoogleのDeepMindから作家です。論文では、提案している（MANNを略し、メモリ拡張型ニューラルネットワーク）ニューラルネットワークを強化するメモリをすぐにサンプルに固有の情報を吸収し、すなわち、状況のほんの数サンプルの正確な予測を行うためにこの情報を使用します小さなサンプル学習（いくつかのショット学習）。外部記憶手段の使用は、著者らはまた、外部メモリ手段の内容を取得するための有効な方法を提案しています。
元の学習プロセスは、主に二つの段階に分けられる：第一段階は、このような急速学習、特定のデータセット内の正確な分類を達成するために異なるタスクのメタ学習モデル、;第二段階、メタ学習モデル抽出クロスこの知識の利用の第一段階のための知識のタスク、および指導。論文で述べたネットワークモデルは、このメタ学習シナリオに適したメモリ機能を持つニューラルネットワークを実証しているが、一時的にしか上記缶に使用LSTMニューラルネットワークが学習知識表現を格納し、それがあります1の種類の内部メモリ（内部メモリ）ネットワークアーキテクチャ、およびこの記事から学ぶ神経チューリングマシン（ニューラルチューリングマシン）思考の使用外部メモリ（外部メモリ）タスク間での知識にアクセスするためのネットワークアーキテクチャ。
以下、ネットワーク全体構成図。
依然としてオフセット方法を使用して、データ（データ対）ネットワーク、前方伝播プロセスに入力された後、入力サンプルは、外部メモリ素子に符号化した後、次の入力サンプルメモリをターゲットタグを結合します、ネットワーク要素のメモリ内容は、予測に関する解析された情報を検索しました。情報は、サンプルマトリクス、すなわちマトリックスアクセス読み込み、書き込み動作に対応するデータの各列に対応する符号化された情報を格納するためのメモリ素子のマトリックスの形態です。読み取るために使用される神経の戦略を使用してチューリングマシン（読み取り） -データの各行の類似性行列を計算し、最終的に最終的な重み付き予測情報を取得次に、入力サンプルの新しい符号化された表現を計算します。書き込み（書き込み）を使用する場合LRUA（使用するアクセスで最近最もログ） -最低使用戦略を、記憶部は、少なくとも最近のストレージスペースとクエリの費用を節約、業務をカバーする使用します。
メモリ拡張ネットワークアーキテクチャの使用は問題のスパーストレーニングデータ（小さなサンプルを）解決することができますが、この論文で提示アドレッシング方式のメモリセルの柔軟性がまだ不十分である、ネットワークの独立した設計のアドレッシングスキームを作る能力があり、適応することができタスクと学習と能動学習の広い範囲は、さらなる研究の価値がある組み合わせ。