【注意事項]紙の読み取りを|ワンショット学習のためのネットワークをマッチング

  • 论文信息:Vinyals O、ブランデルC、Lillicrap T、ら。神経情報処理システムにおけるワンショット学習[C] //進歩のためのネットワークと一致します。2016:3630から3638まで。
  • 博文作者:Veagau
  • 編集時間:2020年1月7日

この記事では、NIPS 2016会議論文、GoogleのDeepMindから作家です。-論文では、複合(メトリック学習)学習の尺度とメモリの増強ニューラルネットワーク(メモリー増補ニューラルネットワーク)新しいニューラルネットワークアーキテクチャを提案マッチングネットワーク(整合回路網を)このネットワークは、わずかなサンプルを提供する条件下でのラベル予測非標識サンプルを達成するために、加速学習の注意と記憶のメカニズムのメカニズムを使用して。

マッチングネットワークの概略ネットワークアーキテクチャは、以下のように:

所与のセットのサポートのため\(S \) 新たなサンプルデータ予測\(\ハット{X} \ ) ラベル(\ \ハット{Y} \ ) :確率方程式は次のように表すことができる
(左\ [Pを\ \帽子{Y} | \帽子{
X}、S \右)= \ sum_ {i = 1} ^ {K} \左(\ハット{X}、X_I \右)Y_I \] ここで、\(K \)サンプルカテゴリ支持体の数は、集中表す(\ \左(\ハット{X}、X_I \右))\サンプルデータに基づいて、コサイン類似度を算出するためのフォーカス計算式であり、支持サンプルデータ表現の新しいセットを埋め込みますそしてソフトマックス関数は、次のように表現である:
\ [A \左(\帽子{X}を、X_I \右)= \ {E ^ {FRAC C(F(\ハット{X})、G(X_I))}} { \ sum_ {J = 1} ^
{K} {eは^ {C(F(\ハット{X})、G(X - jが))}}} \] ここで、\(C \)は、コサイン類似度計算を表す(\ F \)\(G \)機能(埋め込み関数を埋め込むサンプル支持セット)に適用新しいサンプルを表します。

マッチングを包埋標本を高めるために、テキスト内の著者はまた、提案されている完全なコンテキストEmbeedingを(全文が埋め込ま、FCE略す)法-支持体が各サンプルに埋め込まれ互いに独立であるべきであり、サンプルの新しいセットがサポートされなければならない埋め込みますサンプルデータの分布の調整は、埋め込み処理の必要性は環境のセット全体の支援の下に配置されるように、著者は埋め込まれている新しいサンプルに注意を読んでLSTMネットワークを採用し、最終的な結果は、FCEのマッチングネットワークのパフォーマンスの紹介これは、大幅に改善されました。

提示新しいネットワークアーキテクチャに加えて、著者はまたImageNetデータセットは、さらなる処理、いくつかのショットは、シナリオ学習に適して作られたミニImageNetデータセット 100種類ImageNetデータセットから抽出されたデータ、各-カテゴリ600個のサンプルは、次のようになったOmniglotデータセット第二FSL標準的なデータセットの後。

本論文では、実験的なデザインで、次の列車のテスト条件のコンディションマッチ原則- (同じ試験条件トレーニング) -タスクは、トレーニングのタスクに設定されている実際のテスト・セットアップが一貫している場合でなければならない、重要な指導原理実験を学ぶ小さなサンプルですモデルの汎化誤差は、モデルの堅牢性を向上させることができます。

おすすめ

転載: www.cnblogs.com/veagau/p/12164335.html