3.12まとめ-ディープラーニングの第2レッスン「ディープニューラルネットワークの改善」-スタンフォードウーエンダ教授

まとめ

演習

問題61

多数のハイパーパラメータの中から最適なパラメータ値を検索する場合は、ランダムな値を使用する代わりにグリッドで検索して、運に頼るのではなく、より体系的に検索できるようにする必要があります。この文は正しいですか？

A.はいB.いいえ

問題62

各ハイパーパラメータが適切に設定されていないと、トレーニングに大きな悪影響を与えるため、すべてのハイパーパラメータを調整する必要があります。これは正しいですか？

A.はいB.いいえ

問題63

ハイパーパラメーター検索中に、1つのモデルのみを処理しようとする（パンダ戦略を使用）か、多数のモデルを一緒にトレーニングする（キャビア戦略）かは、主に次の要素に依存します。

A.バッチ（バッチ）最適化とミニバッチ最適化（ミニバッチ最適化）のどちらを使用するか

B.ニューラルネットワークにおける極小値（鞍点）の存在

C.自分の能力の範囲内で、どれだけのコンピューティング能力を使用できるか（Bloggerの注：高性能コンピューターと低パフォーマンスコンピューターの違い）

D.調整が必要なハイパーパラメーターの数

問題64

あなたが思うなら $\ベータ$（運動量ハイパーパラメーター）が0.9から0.99の間である場合、次の方法のどれが推奨されます $\ベータ$サンプリングの$\beta$値？

A.

r = np.random.rand()
beta = r * 0.09 + 0.9

Ｂ．

r = np.random.rand()
beta = 1 - 10 ** ( - r - 1 )

C.

r = np.random.rand()
beta = 1 - 10 ** ( - r + 1 )

D.

r = np.random.rand()
beta = r * 0.9 + 0.09

問題65

適切なハイパーパラメータ値を見つけるのは非常に時間がかかるため、通常はプロジェクトの最初に1回実行し、非常に適切なハイパーパラメータを見つけて、再度調整する必要がないようにする必要があります。これは正しいですか？

A.はいB.いいえ

問題66

ビデオで説明されているバッチ標準化で、最初に適用された場合 $l$層、誰にあなたは標準化されなければなりませんか？

A. $z ^ {[l]}$
B. $W ^ {[l]}$
C. $a ^ {[l]}$
D. $b ^ {[l]}$

問題67

標準化された式 $z ^ {（i）} _ {norm} = \ frac {z ^ {（i）}-\ mu} {\ sqrt {\ sigma ^ 2 + \ epsilon}}$ 、イプシロン（ϵ）を使用する理由

A.より正確な標準化のために

B.ゼロによる除算を回避するには

C.収束を加速する

D.防ぐ $\ムー$小さすぎる

問題68

バッチ標準化について $\ガンマ$および $\ベータ$次の$\beta の$説明のうち、正しいものはどれですか。

A.各レイヤーには、グローバルな値があります $\ gamma \ in \ R$とグローバル値 $\ beta \ in \ R$は、このレイヤーのすべての非表示ユニットに適用されます。

Ｂ． $\ガンマ$および $\ベータ$はアルゴリズムのハイパーパラメーターであり、ランダムサンプリングによって調整します。

C.特定の層の線形変数を決定する $z ^ {[l]}$平均と分散

D.最高の価値は $\ gamma = \ sqrt {\ sigma ^ 2 + \ epsilon}、\ \ beta = \ us$

E.彼らは、学習のために勾配降下法だけでなく、アダム、運動量勾配降下法、またはRMSpropを使用できます。

問題69

ニューラルネットワークをバッチ正規化でトレーニングした後、ニューラルネットワークを新しいサンプルで評価する場合、次のことを行う必要があります。

A. 256の例のミニバッチでバッチ標準化を実装する場合、テスト例で評価する場合は、この例を256回繰り返して、トレーニング中と同じサイズを使用できるようにする必要があります。予測を行うためのミニバッチ。

B.最新のミニバッチを使用する $\ムー$および $\ sigma ^ 2$必要な標準化を実行するための${}^{2つの}$値

C.スキップ $\ムー$および $\ sigma ^ 2$値の標準化ステップ、例では標準化は必要ないため

D.トレーニング中に得られた指数加重平均を使用して、必要な標準化を実行します $\ムー$および $\ sigma ^ 2$

問題70

ディープラーニングプログラミングフレームワークに関する次の記述のうち、正しいものはどれですか。（正しい項目をすべて選択してください）

A.プロジェクトが現在オープンソースである場合でも、プロジェクトを適切に管理することで、会社の閉鎖や変更だけでなく、長期的にもプロジェクトをオープンな状態に保つことができます。

B.プログラミングフレームワークを通じて、低レベル言語（Pythonなど）よりも少ないコードを使用して、深層学習アルゴリズムを記述できます。

C.深層学習プログラミングフレームワークの操作には、クラウドベースのマシンが必要です。

質問61〜70の回答

61.B 62.B 63.C 64.B 65.B 66.A 67.B 68.CE 69.D 70.AB