tf.clip_by_global_norm利用分析

そう自分のレビューの後、彼は文書の公式翻訳を持って、ビットを記録して書かれたか、毎日の激務を翻訳されているかなりの数が、私は良い理解作る検索

ここに見られる公式文書は、あなたがはしごを必要とするかもしれません

説明：V1でこのAPI一貫した使用、TensoflowでV2

次に、テキストを入力します。

• 役割は：簡単に言えば、回避爆発勾配に勾配のカット方法の使用は、関連する情報へのアクセスを理解することができる「グラデーションの爆発」です。
• プロトタイプ

tf.clip_by_global_norm(
    t_list,
    clip_norm,
    use_norm=None,
    name=None
)

テンソルt_listリストとタプルまたは切断率clip_normを考えると、すべてのグローバルテンソルのため、この操作は、クリッピング後に返さlist_clipped、およびテンソルt_listリストノーム（global_norm）。それとも、あなたはグローバルな規範がt_listで計算した場合、あなたはuse_normは、グローバルな規範を指定することができます。

• パラメータ：
  • t_list：リスト勾配テンソル、タプルまたは混合テンソル、IndexedSlicesかのなし。
  • clip_norm：勾配スケールファクタカットを表すスカラは、切断中、勾配を切断した後、次の式に従います：
    $T \ _list [I] = T \ _list [I] * \ FRAC {クリップ\ _norm} {MAX（グローバル\ _norm、クリップ\ _norm）}$
    その中でも、
    $グローバル\ _norm = \ SQRT {SUM（[L2 \ _norm（T）^ 2 \ \ T \で\ T \ _list用]）}$
    代表l2_norm L2ノルム。場合はclip_norm> global_norm、その後、t_list勾配は同じままになり、そうでない場合は、プレス減速比をクリッピングされます。場合はglobal_norm == infinity、その後、t_listすべてのエントリは、エラーがNaNを発生していることを示すように設定され、そうでない場合、t_list変更されません。
  • use_norm：彼らはglobal_normを計算している場合は省略可能、0-D（スカラ）テンソルのfloat型は、あなたが提供するパラメータを使用することができます。デフォルトではなし、自分のglobal_normを計算するために（）規範Tensorflowを表しているではありません。
  • name：オプション、セットの名前。

• リターンパラメータ：
  • list_clipped：とlist_tタイプリスト張の同じ量、勾配がトリミング。
  • global_norm：グローバルノルム0-D（スカラー）テンソルを表します。
• エラーが発生することがあります
  • TypeError：もしt_listシーケンスではありません。

なぜなら、すべてのパラメータカット操作を実行する前に準備する必要がありますが、それは（）clip_by_normより遅いです：注：公式文書には、フレーズを言及します。