セマンティックセグメンテーションのための構造化知識蒸留
論文住所：https://arxiv.org/pdf/1903.04197.pdf
最初は、私はこの記事が侵害場合は、オンライン記事やオリジナルの論文の参照が、作られて読んで~~強すぎるた紙のセマンティックセグメンテーション知識蒸留を使用するために、連絡先を削除してください。
セマンティックセグメンテーション問題は、分類の画素レベルとして理解することができ、知識の蒸留方法は、分類タスクの良好な性能を有してこれに基づいてもよいし、著者らは、セマンティックセグメンテーション咬傷の蒸留知識を使用して〜
アルゴリズムの原理は概説します
知識蒸留方法の性質が小さく、コンパクトモデル（学生）を知っている知識を習得するために大規模で複雑なモデル（教師）で、目標は、教師のネットワーク結果で可能な出力として一貫性のあるネットワーク出力の学生を作ることですので、それを達成するために小さな価格の目的ではなく、宮で大きなパフォーマンスを得ます。
それを学ぶために学生のネットワークを導くためにどのように教師ネットワーク？言い換えれば、結果を学ぶために先生にラインにおける学生の学習成果を作るために、どのようにしますか？
レッツ私たちは生徒を教師指導している場合は、その後、私たちは生徒の最後に正しい答えを与えることができ、想像し、この目標に向けた研究への学生のために、当然のことながら、また、いくつかの学習内容を調整するプロセスを学ぶために学生を導くことができ、目的はにあります生徒が教師にラインの最後の結果を学ぶことができる（方法がわからない、このアナロジー,,,）。
ここでは、それは機能の喪失に関連して、損失関数は、生徒の教師のためのガイドであるベンチマーク、どんどん近づいて教師の結果を学習する学生の学習成果を作ることです。
一方、用紙はそう当然、画素分類問題の分割と理解されるであろう使用バイピクセルスコアマップの最終的な出力で計算された損失関数クロスエントロピー損失の分類の違いを測定する（単位ピクセル）。この損失は、最終的には上記の生徒の教師への正しい答えを理解することがあります。
一方、著者は画像の構造化情報の損失を紹介（あなたが最初の詳細の一部を学ぶ学生のプロセスを導くために教師として理解することができ、~~~ので、それは最初に、このたとえ権利を知らない）、
以下に示すように
図に示すの各情報を測定するための2つの構造化された方法、
第1の構造化情報、そのセマンティック予測結果のセグメンテーション本実施例の有する自己類似性尺度が構成されている情報教師予測2つの画素と2つの画素の結果学生ネットワーク予測の結果と一致します。この損失を測定し、著者はペアワイズ損失（それは「ピクセル・バイ・ペア」失われたとして翻訳される可能性があります）を呼び出します。
第2の構造化情報は、支店網やネットワークの専門ネットワークを設計する考え方は二つの結果がある場合、教師学生は、分類を予測された結果（あまり知りません）ネットワークの導入に対して、画像の全体的な構造の類似性の尺度であります同じグループがOKネットワーク収束を説明に、この損失は、ホリスティック損失（全損失）と呼ばれています。
結論として、著者は、のdistill知識にすなわち画素毎の損失（ピクセル単位損失、PI）、損失の画素単位（ペアワイズ損失、PA）、全体の損失（ホリスティック損失、HOを3敗を使用しました）。
アプローチ
ピクセル単位の蒸留
ピクセルステージ蒸留損失関数を次のように
蒸留モジュールは、アイデアの通常の蒸留で、我々は引き継ぐの教師のネットワーク出力の確率を入れて、学生のネットワーク出力の確率は損失を行い、ネットワークの近似教師ネットワークと直感的に学生は、図に見ることができるようには2個ですセグメンテーションマップ損失を行いますが、実際に損失をすることの確率です。
ペアワイズ損失、PA
ピクセル蒸留損失関数は次のよう：
まず、ネットワークはすでに良いトレーニングと不自由部門ネットワークである教師を、最適化されていません。マルコフランダムフィールド（症例報告書）の対象となる一部がペアワイズ蒸留、話に私たちのために、時系列順インスピレーションを得た、著者は、ネットワークのパフォーマンスを向上させるために、各二つの画素間の相関関係を見つけたいです。示し、図教師i番目の画素とj番目の画素のネットワークとの間の相関特性において、ASは蒸留損失によって算出下記式（二乗差）によって学生ネットワークIJとの相関関係を示し、ネットワークは、学生近似教師ネットワークを可能にします。
ホリスティック損失、HO
蒸留全体的な損失関数を次のよう
GANを使用するここでのアイデアは、学生は、その入力されたRGB画像データのセット、セグメンテーションマップ出力（偽）、ネットワーク出力と教師分割グラフでネットワークを生成するように見られ真図、図スコア出力GANネットワーク識別器に埋め込まれ、この対応を行うためにRGB図弁別ネットに分け、スコアがRGBセグメントパターンマッチ、実際の誤差の算出ワッサー分布と分布との間の距離を表します。
従来のマルチクロスエントロピー損失MC（S）と画素組成を有する,,構造化蒸留項目は、4つの損失の合計、すなわち、クロスエントロピー学生の多くのタイプの損失のクラス全体の目的関数は、ネットワーク出力と実際の通常のラベルを作ります損失。最終損失は次の通り：
実験結果
チャートからわかるように、精度が大幅に知識蒸留を使用した後に改善されてきた、蒸留構造化された情報は、より良い学生のネットワークを学ぶことができます。
少し荒い、後で追加バック〜
