「 この記事は、検索マッチングモデル見直しリコールによって推奨されるシリーズの第2弾は、上にある伝統的な方法- （）で推奨レビューリコール検索マッチングモデル。
本稿では、協調フィルタリングベースの協調フィルタリング方法+ SIDEINFO（DCF、ダイフ、ACF、CKBに基づく方法（DMF、AUTOREC、エンコーダから相乗的ノイズ、等）を含む学習方法を、学習推奨深さ表現の検索を記述する）、及びパラダイムと方法のアプリケーションの構成は、上述しました。"
著者：新Junbo
出典：ゴシップコラムノウハウほとんど広告のクリック率予測モデル。
編集：happyGirl
学習の深さに基づいてPART0表現学習
最後に、私はエキサイティングな部分の深い学習に取り組むたいです。モデルから学習の深さ方向に一致する概ね二つのカテゴリー、モデルベースの表現学習の学習、すなわち、モデルと一致機能に分けることができます。
この章では、された表現の方法を学習ベースの最初のアプローチ、表現の学習に焦点を当てています。この方法は、表現及びユーザの表現、すなわち、ユーザ項目の各項目を学習し、各ベクトルを埋め込む（また、隠されたまたはベクターとも呼ばれる）、次いでマッチングスコア関数を定義することによって、一般的にベクトルの単純なクリック、またはコサイン距離であります一致スコアは両方を得ました。図3.1に示されている全体の表現学習フレーム、ユーザの典型的な二重列項目の構造と
図3.1マッチングモデル表現の学習に基づきます
ベースの学習方法を学習深さの表現は、CFとCF +側の情報に基づいて、2つのカテゴリに分けることができます。次のプレゼンテーションでは、ビューの入力、表示機能やマッチング機能ポイントからとなります三つの異なるモデルです違いは何ですか
協調フィルタリング法に基づくパート1
モデルCF（協調フィルタリング）
視点を学習から発現された場合、協調フィルタリング方法で伝統的な方法を再訪、ユーザとアイテム隠されたベクトルを学習する古典的な表現の学習モデルです。
（1） 入力層
、（ワンホット）、すなわちユーザID、（ワンホット）ItemIDを2つだけ
（2） 表現関数
リニア埋込み層
（3） マッチング機能
内側ベクトル積（内積）
DMF模型（ディープ行列因子分解）
DMF奥行きモデル行列分解モデルは、従来のMF MLPネットワークの図3.3に示されているネットワーク全体フレームを増加させます。
（1）入力層
行列表記に沿って示される項目の設定を介してユーザによるユーザインタラクション、[00 400 ... 15]のように表現マルチホットスコア、2つのサブグループで構成され、また相互作用項目によってそのような行列の列によって示さ[5003 ... 13]、などを介してユーザの集合、また、マルチホット表現を表します。
図3.3 DMF深行列分解モデルフレームワーク
入力は、ここで見つけるワンホット、一般的に、M、Nは、アイテム数百万レベルとして想定されるユーザの比較的大きい数であることができます。
（2）表現関数
古典的な、完全に接続されたネットワークであるマルチレイヤパーセプトロン、
（3）マッチング機能
コサインクリックで2つのベクトルのマッチングスコアを表します
共通モデルCFコントラスト、表現関数の最大の特徴は、非線形MLPを増加させるが、入力は、ホット一次元であるため、100万の加入者を想定したが、第一の層100は、隠された層MLP、ネットワーク全体であります光の第1のユーザ側層パラメータは100万人に達する非常に大きなパラメータ空間となるであろう
AUTORECモデル
オートエンコーダのアイデアを学び、入力のAUTORECモデルがベースとのアイテムベースUSER-モデルに分けることができるよう、表現のユーザーとアイテムを確立し、再構築を行うには、CF。R内の各列のアイテムベースAUTOREC、入力のために、すなわち、各項目について説明ベクターとしてのそのそれぞれのユーザにスコア付けされ、ユーザベースのRによりAUTOREC各行に示されているため、すなわち、各ユーザ彼はアイテムを表現するベクターでオフマーク。
RUベクターユーザで表される、RIは、ベクトル項目を表し、又はオートエンコーダRU RIによって低次元ベクトル空間（エンコード処理）に投影し、それは同様のオートエンコーダ入力値及び目標値を用いて、通常空間（デコード処理）に投影されますこれにより、ユーザのための（再構築）を再構成特性は、アイテムのスコアを相互作用していません。
（1） 入力層
そしてDMFとして、アイテムコレクションに対するユーザのアクションによって、ユーザは、項目IDにより、アイテム自体を表し、オリジナルのスライドの図は、USER-オートエンコーダを言うことを言ったが、元AUTOREC個人の論文を見たとき、これは間違っている必要があり、それがアイテム - する必要がありますベースとして、ユーザの数でmは表現され、N-表すすべてのI対話型入力の項目の入力ユーザ（1,2,3、... M）の底部を示す、項目
AUTORECの図3.4アイテムベースのモデル
（2）表現関数
（;シータ商標）中間層への入力層の再構成を表し、Hは構造の自動エンコーダにより入力は隠れ層において、（ホットマルチ）よう青アイテムを介してユーザ相互作用でありますユーザは、ノード表現によって表され;各項目を取得し、ユーザ表現することができるように、以下の式に示すように、出力ノードは、表現の項目によって表され
予測さL2 W及びVは正規行列間の差の二乗の損失関数を最小化するために
（3）マッチング機能
ユーザーや表現のアイテムを使用すると、クリックして2つのベクトルの一致スコアを取得することができます
CDAE模型（共同ノイズ除去オートエンコーダ）
自分自身を表現することに加えてCDAE SVD ++モデルと同様のアイデアは、ユーザーの表現として項目を通じてユーザー、ユーザーとの対話をUSERID。
（1） 入力層
ユーザーID、アイテムの歴史を介してユーザとの対話、およびアイテムID。コントラストがアイテム自体の履歴を、上記基本的なユーザ対話を使用しながらユーザによって入力された、AUTOREC見出され、このバイアスをUSERIDすることができ、イデオロギーはSVD ++に非常に類似しています。入力層のノードが図3に示されるように、各グリーンノードがアイテムを介してユーザとの対話を表し、ユーザの嗜好を示す赤色最下位ノードのユーザノード自体が、それはユーザーIDの表現と考えることができます
（2） 表現関数
図3.5 CDAEモデル構造。
すべてのユーザーIDと独立アイテムVU発現ベクターを学習しますために前記中間隠れ層ノードVuが層の表現で入力されたユーザノードである青色ユーザとして、ユーザ自身BIAS、いくつかの例を考慮することができますユーザーの評価自体も、最高得点アイテムが高すぎることはないだろう、より厳格であり、一部のユーザーはアイテムがより良いユーザーを特徴づけることができVuの間の自然なバイアスで、高い評価を与えるすぎない悪い限り、非常に緩い得点します。
出力層ノードの場合、それは物品のU I予測スコアリングユーザーのために考慮することができます
（3） マッチング機能
マッチングスコアとしてベクトルの内積を用いて
深要約法に基づくCFモデル
要約上記CFベースの方法は、以下の特性を有しています
（1）ユーザIDまたはアイテム自体または明示によって又はその挙動相互作用の履歴を表現します
（2）は、より良い表現自体よりIDを持つユーザまたはアイテムの表現として行動の履歴と相互作用だけでなく、モデルがより複雑になります
（3）MLP + MFと本質的に同等の自動エンコーダは、MLPの表現は、ユーザー項目の発現および完全接続ネットワークで行います
（4）すべてのトレーニングデータは、情報の対話型ユーザーアイテムに、ユーザ情報の側情報とアイテムのない導入されていません
その2ベースの協調フィルタリング+サイド情報メソッド
CFベースのアプローチは、サイド情報を導入しない、したがって、表現学習のための第二の方法は、CF +、すなわちさらにサイド情報を導入CF法のサイド情報、基づいています。
DCFモデル（ディープ協調フィルタリング）
（1） 入力層
物品XとYのユーザ対話行列及びオブジェクト、並びにユーザの特徴に加えて
（2） 表現関数
アイテムの各辺と、ユーザが自動エンコーダによって学習しており、かつ、記事のY側は、テキスト、タイトル、カテゴリなど、特徴、異なる伝統的な学習、Xは、年齢、性別などとして導入された利用者側を代表CF R行列の相互作用情報まだやる行列因子U、V。フレーム全体モデルは、図3.6に示します。
図3.6 DCFモデルフレームワーク
前記W1は、Xは、プロセス自動エンコーダエンコード部のユーザ側機能、P1はマッピング行列Rと相互作用するユーザを表す隠された層の再構築に、すなわち入力で表される;及びW2は、Y、請求自動車のサイド記事を表します - エンコーダプロセスのエンコード部。P2は、物品特性マッピング行列Rの相互作用を表します。
損失の最適化機能は、ユーザは、通常のプラスL2と同様に、アイテム側のエンコーダ側の特性と再構成部、及びマトリックスと予測マトリックス相互作用との間の二乗差を最小化する必要があります。3.7図1の第1式。
組成エラー、最初の入力測定入力と推定誤差が破損に入力することを保証する必要の構築W1及びW2を破損前記2つの式を次の図3.7は、ユーザがサイドと2辺の記事を見ることができますxおよびyは悪く収まらない;第二隠れ層での発現は、特徴空間W1X及びUはあまりにもマッピングされ、エラーことができないマトリックス上に投影されます。
理解するためのシンプルな、学習のモデル全体は、ユーザーが正確に（自動再構築エラーエンコーダの）自体をエンコードとしてXとYのアイテムを備えていますことを確認する必要がありますが、また、できるだけ近く（マトリックスとしてユーザオブジェクト上の推定と実際の観測を確保する必要があるだけでなく、分解・エラー）、また制約正則モデルの複雑さは、高すぎることはできませんしながら、
ダイフ模型（ディープ・ユーザーと画像特徴学習）
（1） 入力層
物品XとYのユーザ対話行列及びオブジェクト、並びにユーザの特徴に加えて
（2） 表現関数
全体的マッチスコアは、以下の図で表されてもよい：Fiありアイテムの表現として画像特徴CNNネットワークによって抽出された特徴原画像を表し、その項目は、式の線形マッピングを埋め込むことによって得ることができます
（3） match関数
PUは、二つのベクトルのドット積によって得られたユーザとしてモデル表現、および表現項目としてCNNにより抽出された画像特徴量、両方のマッチングスコアによって学習しました
ACF模型（気配り協調フィルタリング）
注意CF Sigir2017方法は、注意メカニズムの導入で従来のCFで提案されています。ここで注意が対話履歴項目を介してユーザの重量が同じ量ではないことを二つの意味、第一層注目有し;注意他の手段を、アイテム重量の視覚的特徴への権限を持つユーザーは、このような、同じではありません図3.8。
図3.8 ACFモデル構造。
（1） 入力層
a）ユーザ側：ユーザーID、ユーザーの履歴項目は相互作用します
B）項目側：アイテムID、に関連した項目に関連する視覚的特徴を
（2） 表現関数
注意を二つに分けることができ、一つは注目成分レベル、主に視覚的特徴抽出であり、第二層は、注目アイテムレベル、物品の重量に対して主ユーザ嗜好度抽出権です。
A） コンポーネントの注意
マルチメディアのためのリコメンデーションシステム内でこの論文では、グラフィックとビデオ情報抽出多くの機能があるので、注意の第一層の導入は、成分注目を指し、Iは寄与の程度の項目表現の異なるコンポーネントの考えこれは、図3.9に示すように、異なります
図3.9のコンポーネント注目フレーム
アイテムl番目の、異なる領域に入る自体がXL1、XL2、XLM、Mを備え異なるアイテム機能を表し、その領域を埋め込むの異なる重み付けの最後の項目として表さユーザ入力UI、。
最初の式は、ユーザI Lのm番目の物品成分の重量を表す（例えばAローカルエリア前記画像特徴、又はビデオの異なるフレーム内の特徴）の重量を有する、注目重量のソフトマックス第2式の正規化
b）の 項目の注意
第二層の注目は、重量が異なっている必要があり、アイテム履歴を介してユーザの役割を検討します。ここでは、物品は、（i、L）のユーザ独自の導入を表現するSVD ++の方法を使用して、私は重い貨物リットルの歴史を通じてユーザーとの対話の重みを表します。
式の右側の重量の項目番目のユーザI Lは、以下のデータによって表すことができます。
UIは、ユーザ自身の潜在ベクトルであり、VL Lは潜在ベクトルの物品であり、物品のPL Lは潜在ベクトルを補助する、XLは、上記から抽出された特徴潜在ベクタ形式の情報です。最終的な発現は、潜在ベクターの自己UIユーザ、及び注意加重表現表現の歴史的行動です。
使用されるモデルは、ペアごとの損失が最適化されています
（3） 表現関数
一致スコアとして使用するベクトルユーザーがクリックするとアイテム
CKBモデル（協調ナレッジベース埋め込み）
CKBモデルが2016 KDDに提案され、知識マップを使用すると、表現の学習、図3.10に示すモデルの枠組みを行います。実際には、フレーム全体のCKBむしろ単純なモデル、構成情報の項目、テキスト情報等のアイテムの各特徴抽出側、及び視覚的情報表現
図モデルの枠組み3.10 CKB
（1） 入力層
A）ユーザー侧：ユーザーID
B）側項目は：ItemIDを、知識ベースの特性マップアイテムを（構造、テキスト、視覚的な）
（2） 表現関数
主にテキスト情報や図形情報から構成情報の観点から、マッピングの知識は、埋め込みAの最後の項目を発現項目側に抽出されます
A）構造的特徴構造体に埋め込む：transR、transE
図3.11構造体の埋め込みフレーム
b）は、テキスト特徴テキストを埋め込む：積層ノイズ除去自動エンコーダ（S-DAE）を
図3.12テキスト埋め込みフレーム
c）の視覚的特徴視覚埋め込み：スタック畳み込みオートエンコーダー（SCAE）
図3.13ビジュアル埋め込みフレーム
（3） マッチング機能
ユーザーアイテムベクトルとベクトルを得た後、ベクトルスコアユーザに合致し、項目をクリックすることにより表される;次ペアワイズ損失を使用して、損失関数を表します。
表現に基づいて、その3深度要約マッチング法
ミクロレベル
上記CFベースのアプローチを要約すると、パラダイムを以下のように表すことができます。
3.14 CFベース深度マッチングモデルパラダイム
（1）表現学習：目的は、ユーザと表現の各項目（別名潜在ベクター、または埋め込み）を学習することです
（2）発現パターン：ユーザーは反対側の情報を追加することができ、それ自体がUSERID反対側のユーザーIDを備え、アイテムはそれらの特性情報に加えて側面をアイテムID、ビデオフレーム機能文書番号などのテキスト、グラフィックス機能の他の特徴は、あります
（3）モデル式：伝統的なDNNに加えて、そのような自動エンコーダー（AE）などの他の構造、ノイズ除去、自動エンコーダ（DAE）、CNN、RNNなど。
深度表現モデルを学習することは、中間生成物としてマッチエンド-2-エンド・モデル、各項目とユーザの描写はない解釈例えば、最も類似する物品がシーク、ソーティング相以外の分野で使用されてもよいですアイテムコレクション、およびリコールの他の側面。
マクロレベル
奥行きモデルの場合、それは、モデルの深さとマッチ機能学習の深さに基づいてモデル表現の学習に分かれています。学習の深さに基づいて、学習モデル表現は、ユーザとオブジェクトであり、その後の機能を照合することによって算出さ、ここで位相学習表現における焦点は、モデル構造は、ネットワーク、自動エンコーダ、知識マップと他のCNNによって学習することができます。
このレビューは主にオリジナルのスライド、粗製の集中的の紙部分の読み取り部分に基づいて仕上げ、一緒に主に同じ考えの背後にある様々な方法を、します可能な限り文字列に推奨試合を行う方法についてのアイデアをフルテキストでは、それらの多くのことを学びました指導。以上のミスよりも、歓迎の批判が指摘しています。
参考その4
（1）のhttps：// WWW。/ sigir18-deep.pdfをcomp.nus.edu.sg/~xiangn
推薦システム（2）ホン建雪、新湯大、Jianbing張、Shujian黄、およびJiajunチェン。ディープ行列分解モデル。IJCAI 2017。
（3）Suvash Sedhain、アディティアクリシュナメノン、スコットSanner、および字句謝。AUTOREC：オートエンコーダは、協調フィルタリングを満たしています。WWW 2015年。
（4）ヤオ・ウー、クリストファー・デュボア、アリスX.鄭、およびマーティンエステル。上位n個の推薦システムのための協調ノイズ除去自動エンコーダ。WSDM 2016年に。
（5）盛のLi、ジャヤKawale、及びユンフー。深い協調フィルタリングを介して取り残さノイズ除去自動エンコーダ。CIKM 2015年。
（6）雪庚、科技張、Jingwen扁、およびTat-センチュア。ソーシャルネットワークでの勧告のための画像や、ユーザの特徴を学びます。ICCV 2015年。
（7）ジンアンチェン、科技張、Xiangnan彼、Liqiangニエ、魏劉、およびTAT-センチュア。気配りの協調フィルタリング：アイテムおよびコンポーネントレベルの注意を払ってマルチメディア勧告。SIGIR 2017年に。
（8）Fuzheng、チャン、ニコラスジン元、Defuリアン、興謝、及びウェイ・イン・マ。推薦システムの埋め込み協調知識ベース。2016年KDD。
