「ニューラルネットワークとディープラーニング」学習まとめ

この記事の内容は、「ニューラルネットワークとディープラーニング」という書籍を勉強してまとめたものです。

人工知能のサブ分野

ニューラルネットワーク: (人工) ニューロンを基本単位とするモデル

深層学習: 主に (モジュール) 貢献度の割り当ての問題を解決する機械学習問題の一種

機械学習

浅い学習: 特徴学習は含まれず、その特徴は主に人工経験または特徴変換方法によって抽出されます。

表現学習: 深いモデルを通じて高レベルの意味論的特徴を学習する

深層学習＝表現学習＋決定学習（予測）を 寄与分布問題を解くには、ニューラルネットワーク（偏導関数を求める連続関数）を使用します。

一般的な機械学習の種類

教師あり学習: 回帰、分類

教師なし学習: クラスタリング、次元削減、密度推定

強化学習

機械学習の 4 つの要素

データ、モデル、学習基準、最適化アルゴリズム

損失関数: モデル予測と真のラベル間の差異を定量化する非負の実数関数
期待リスク、経験リスク

最適化問題のための勾配降下法

線形分類器

ロジスティック回帰 ソフトマックス回帰パーセプトロン 教師あり学習におけるサポートベクターマシン...

ニューラルネットワーク

ニューロン活性化ルール、ネットワークトポロジー、学習アルゴリズムの3要素


共通活性化関数：S字関数（ロジスティック関数）、スロープ関数（ReLU関数）、複合関数（Swish関数）

フィードフォワード ニューラル ネットワーク (完全接続ニューラル ネットワーク、多層パーセプトロン)

• 各ニューロンは異なる層に属しており、層内での接続はありません。

• 2 つの隣接する層間のすべてのニューロンはペアで接続されています

• ネットワーク全体にフィードバックはなく、信号は入力層から出力層まで一方向に伝播します。これは有向非巡回グラフで表すことができます。

  勾配計算方法：連鎖導出、バックプロパゲーションアルゴリズム、自動微分

畳み込みニューラル ネットワーク

• フィードフォワード ニューラル ネットワーク
• 生物学的受容野メカニズムによる提案（視覚神経系において、ニューロンの受容野は網膜上の特定の領域を指し、この領域の刺激のみがニューロンを活性化できる）
• ローカル接続、ウェイトシェアリング

全結合層の代わりに畳み込み層を使用します。

畳み込みネットワークは、畳み込み層、プーリング層、全結合層によってクロススタックされます。

典型的な畳み込みニューラル ネットワーク: AlexNet、GoogLeNet、ResNet

リカレントニューラルネットワーク

リカレント ニューラル ネットワークは、自己フィードバックを備えたニューロンを使用することで、任意の長さの時系列データを処理できます。

リカレント ニューラル ネットワークは、フィードフォワード ニューラル ネットワークよりも生物学的ニューラル ネットワークの構造と一致しており、音声認識、言語モデル、自然言語生成などのタスクに広く使用されています。

ゲート付きRNN

ゲートメカニズム: 新しい情報を選択的に追加したり、以前に蓄積された情報を選択的に忘れたりするなど、情報の蓄積速度を制御します。

ゲート型リカレント ユニット GRU 長短期記憶ネットワーク LSTM

リカレント ニューラル ネットワークは主に、自然言語理解、機械翻訳、ライティング、対話システムなどの言語モデルで使用されます。

アテンションメカニズムと外部メモリ

注意メカニズム

入力情報をスコアリングし、注意分布を見つけ、確率に従って入力情報の

自己注意モデルを選択します(接続の重みは注意メカニズムによって動的に生成されます)

外部メモリ

記憶強化ニューラルネットワーク：メインネットワークに外部記憶装置を追加し、

ニューラルダイナミクスに基づいて外部記憶と連想記憶を構造化します（ホップフィールドネットワーク）

教師なし学習

クラスタリング

サンプル セット内の類似したサンプルを同じクラス/クラスターに割り当て、異なるサンプルを異なるクラス/クラスターに割り当てます。これにより、クラス内のサンプル間の距離は小さくなり、クラス間のサンプル間の距離は大きくなります。

一般的なタスク: 画像セグメンテーション、テキスト クラスタリング、ソーシャル ネットワーク分析 一般的なクラスタリング方法: K 平均法クラスタリング、階層的クラスタリング、密度クラスタリング

(教師なし) 特徴学習

ラベルのないデータから有用な特徴を学習します (特徴抽出、ノイズ除去、次元削減、データ視覚化)

主成分分析（一般的に使用される次元削減手法）、スパースコーディング、オートエンコーダー、自己教師あり学習

確率密度の推定

パラメータ密度推定: 事前知識を消去し、確率変数が特定の分布に従うと仮定し、トレーニング サンプルを通じて分布のパラメータを推定します。

ノンパラメトリック密度推定: データが特定の分布に従うと仮定せず、サンプル空間を異なる領域に分割し、各領域の確率を推定することによってデータの確率密度関数を近似します。

ヒストグラム法、カーネル密度推定、K最近傍法

半教師あり学習

自主研修・

連携研修