三元量子化を訓練し论文

この記事はTWQ(三項重量子化)に基づいて作られた改良であるである、次のように、プロセスを要約することができます。
ここに画像を挿入説明

まず、[-1,1]の間の精密な正則化重みの全て、
及び、各レイヤの閾値に応じて本明細書で使用されるのと同じdelta_Tの(T統一がそれぞれ異なるチャンネルと、探索空間を減少させることで量子化できるTなければなりませんより良いパフォーマンスを得るが、計算コストを増加させることはあまり感じ)-1、0、1、
ここに画像を挿入説明
シモンズ:また、第二の方法を提供5.1.1を参照してください、ない記事は、このセクションではありません。
ここに画像を挿入説明

WPとWnのが損失として計算の最終結果が乗算され、その後、元の勾配(ここで使用されるSTE)の勾配によって更新WN、WPと減少しました。

Q:あなたはこれらの2の意味を知りたい場合は-11ない完全な精度ではなく、その者のどこバイナリ?
ここに画像を挿入説明

リバースアップデート

全精度勾配

ここに画像を挿入説明
定量化勾配
ここに画像を挿入説明

Q:具体的にどのようにどのように言っていなかったアップデートを使用するには
TWN(またBNN XNORを参照)のみ完全精度に更新され、順方向伝搬及び逆伝播のための唯一の三値をよれ

わずかに良い図、上記のサイズは、以下の数の分布を参照してください。
ここに画像を挿入説明

公開された452元の記事 ウォンの賞賛271 ビュー730 000 +

おすすめ

転載: blog.csdn.net/qq_35608277/article/details/104882257