自己教師あり学習フレームワーク
データにラベルを付けずに学習できるタスク (Bert など)。しかし、最も初期の方法は自動エンコーダーです。
概要
オートエンコーダー
エンコーダによって出力されたベクトルとデコーダによって復元された画像は、出力画像が入力画像に近ければ近いほど優れています。
元の高次元ベクトルを低次元ベクトルに変換し、この新しい機能を下流のタスクに使用します。
関連する同様のメソッド:
- PCA：youtu.be/iwh5o_M4BNU
- t-SNE：youtu.be/GBUEjkpoxXc
画像の変更には制限があります:
- 3x3 グラフは 2 次元で表現するだけでよい場合があります
オートエンコーダは 2006 年に提案された新しいアイデアではありません。
Bert はノイズのあるオートエンコーダーでもあります
機能のもつれの解消
もつれの解除は、もつれたフィーチャのもつれを解きます。
埋め込みのどの次元がどの情報を表すか。たとえば、最初の 50 次元はコンテンツ情報を表し、最後の 50 次元は話者情報を表します。
トランスフォーマーを適用します。
以前は同じ文章を読み上げて変換する必要がありましたが、現在は音声を与えるだけで、同じ内容でなくても音声変換が可能です。
さまざまな言語が利用可能で、コンテンツとスピーカー機能を分割し、デコーダー出力を混合するだけです
離散表現
バイナリの利点は、各次元がその場所の特徴が存在するかどうかを示すため、埋め込みの説明に便利です。
ワンホットの場合、教師なし分類を実現できます。
コードブックにはベクトルの行があり、その途中で計算された埋め込みを使用してこのベクトルの行との類似度を計算し、最も高い類似度を持った人がそのベクトルを取り出してデコーダーに投入します。
テキストへの埋め込みは文字列で表されますが、それは単なる要約ですか? モデルはseq2seqです。
このようにして生成された中間コンテンツは理解できませんが、暗号記事のようなものです。現時点では、GAN のアイデアを借用し、識別子を追加します。RL によるハードトレーニング。cycleGAN に少し似ています
。
さらに多くのアプリケーション
生成する
圧縮
異常検出
がん細胞の検出は、カテゴリーの 1 つにすぎませんが、自動エンコーダー アルゴリズムを使用できます。
本物の顔を使用してエンコーダ/デコーダをトレーニングし、通常の出力を取得し、
次に偽の顔を使用して予測のために送信します。得られた再構成画像は比較的貧弱であり、この種の顔がモデルのトレーニングでは見られなかったことを示しています。
異常検出のその他の紹介:
