このリンク：https://blog.csdn.net/jxq0816/article/details/102993212
REVIEW
モバイルインターネットの現在の時代では、豊富なプロのコンテンツに加えて、UGCコンテンツは、より爆発的な発展で、各ユーザは、コンテンツの消費者でもあり、また、コンテンツ制作者になります。コンテンツのこれらの膨大な量は、私たちのニーズを満たすだけでなく、あなたが、その場合には、必要なものを見つけるために私たちはより困難にするためにパーソナライズされた勧告がされて入ってきました。
パーソナライズ勧告はしているビッグデータ分析と人工知能技術者のことで調査に基づく金利選好され、コンピューティングパーソナライズ解決するために、ユーザーに高品質のパーソナライズされたコンテンツを提供するために、情報過多の問題を、より良い満たすユーザーそれは必要です。
まず、iQIYIを導入した推薦システム
私たちの推薦システムは、二つのフェーズに分割されたリコールステージとソート相。
リコール段階ビデオライブラリの数千万人が小さな候補セット（ビデオの数百〜数千）を選び出すすると、ユーザーの興味や行動履歴に基づきます。これらの候補者は、コンテンツのユーザーに興味を持っている、段階を仕分け、これに基づいてより正確な計算は、正確に各ビデオに記録し、その後、候補者の数十万人からのユーザーにとって最も関心の小さな画質を選択することができますコンテンツ（ダースビデオより）。
以下のように示す推薦システムの全体構成、各モジュールの機能は以下のとおりです。
1ユーザーの肖像：多次元人々の属性の分析は、行動、興味とコンテンツの好みの傾向のユーザーの履歴が含まパーソナライズの礎であります
2つのプロジェクトの特徴：群衆のクラス映像コンテンツ解析の属性、統計的特性や好みを含んで描画し、測定の全範囲は、ビデオコンテンツと品質分析のための基礎となります
3リコールアルゴリズムは：例えば、このようなリコールやSNSチャネルの内容と協調フィルタリング、トピックモデル、などの複数のチャネルのリコールモデルが含まれ、多様性はビデオライブラリから好みのコンテンツを選択することができます
4つのソートモデル：複数のコンテンツチャネルは、少量の最適な結果を選択し、スコアソートで想起されるであろう。
これらの推奨システムに加えて、新鮮さの推薦結果、複数の次元と驚きがグリッド度を強制的に、考慮に多様性を取る多様なユーザーのニーズを満たすために、より良いことができ、。
第二に、推奨発注システムアーキテクチャ
リコール段階では、複数のチャネルの内容は、データが大きすぎるため、比較できないリコール、より正確な品質評価プリファレンスを行うことは困難であり、したがって正確なスコアリングに均一の必要性がソートリコールソーティング相をもたらしています。
ビデオのユーザーの満足度は、多くのある寸法ファクター顧客満足度では、これらの要因の重要性を決定することもある異なるにも同様に様々な要因の間、多層の依存関係、人を達成するのは難しいの両方の複雑なルールを開発良い結果ではなく、機械学習の援助を必要とする、保守性、機械学習モデルの使用をソートする要因の広い範囲を合成しました。
主によって、示されるように、システム・アーキテクチャをランク付け、収集ユーザ行動前記充填、学習サンプルスクリーニング、モデル訓練、オンライン注文予測、および他のモジュール。
機械学習プロセスの本体は、設計アーキテクチャは、複雑な理論を必要としない、より汎用的で細部のより慎重に精査する必要があり、データは、アーキテクチャのロジックを流れ。
アーキテクチャは、過去の経験や教訓、解きに基づいて機械学習アーキテクチャの二つの問題に描画します。
予測可能な一貫性をトレーニング
トレーニングの間の差の精度で生産機械学習モデルは、当該勧告の結果について、ユーザーからのフィードバックとして、一貫性のない特徴モデルのトレーニングとオンラインサービスは、すぐにユーザの好みの特性に影響を与える場合は特に、モデル化し、大きな影響を予測しますトレーニングで、ユーザ特性の状態が変更されたときに、モデルは、ユーザ特性この時間に基づいて非常に大きな誤差を持っているかどう。
当社のソリューションは、オンラインサービスのダウンで機能を保存することで、次にためのトレーニングや予測機能の一貫性を確保すること、ユーザーの行動収集されたサンプルに充填しました。
連続反復
インターネット製品は、アーキテクチャ設計、データ準備、モデルのトレーニングやオンラインサービスは、継続的な繰り返しのために良いサポートを持っていることができなければならないとき、規範であるライン上で繰り返しを続けました。
当社のソリューションは、モデルのテストは非常に簡単になり、すばやく並行して複数の繰り返しをテストすることができ作るためにモデルデータの準備と訓練デカップリングの様々な段階の、およびこのアーキテクチャのポリシー構成にあります。
第三に、アルゴリズムの進化をソート推奨機械学習
古代の1、
私たちが最初にオンライン機械学習モデル、比較的単純なロジスティック回帰の選択肢を並べ替え、アーキテクチャ設計にフォーカスを置く場合には、アーキテクチャの正確さを保証してみてください。また、説明LRモデルは、簡単にデバッグに、強く、重量はモデルの欠点を見つけ、推薦コンテンツの右の特性によって説明することができます。
モデルを訓練する前に、我々は最初の解決である評価指標と最適化の対象問題。
- 評価指標（メトリクス）
オンライン評価指標は、長期的な目標の効果と一致する必要があるように、このような入力の使用など、ユーザーの活動レベルとを。我々の実験では、業界で人気のCTRは、良い評価指標ではありません、それはより短いビデオ、パーティーや下品なコンテンツのタイトルに有利にバイアスされます。
オフライン評価指標をカスタマイズするための事業に従っているので、オフライン段階でのオンライントラフィックの浪費を避けるために効果的でない戦略をなくすことができ、オンライン評価指標を一致させます。
- 最適化の目標（目的）
機械学習は、偏差の最適化の目標が存在する場合、モデルの結果のばらつきもある、とモデルが反復のずれの方向から学び続け、偏差はより深刻になり、最適化の目標に最適なソリューションに基づいて解決されます。
我々のアプローチは、モデルの制御を目的と可能な限り一貫しているので、最適化の目標や評価指標の再サンプルの権利を追加し、サンプルの重みは損失関数に追加することです。
LRは、線形分類モデルは、入力が線形独立の機能である必要があります。我々が使用する密集機能（数十〜数百の間の寸法）を、多くの場合、非直線的であり、依存性があり、機能を変換する必要があります。
前記変換は、特徴の分布を必要特性とラベルの間の関係を分析し、適切な変換方法を使用します。私たちは、次のカテゴリを使用：多項式変換、対数や指数変換 、相互変換と累積分布関数のように。
LRモデルが徐々に増加機能の簡単な説明強いが、場合ですが、弱点は明白です。
①それらの手動線形機能、非常に人間の消費に変換する必要があり、品質は保証されません
はいモデル予測の複雑さの相互作用のために②二十から二のケースを特徴としています。100次元の密な機能の場合には、より困難に特徴付け10 000、高い複雑さの特性寸法の組み合わせが存在することになります
三の以上の特徴③の相互作用のため、ほとんど実現不可能
2、中世
上記の問題のLRを解決するために、我々はFacebookのGBDT + LRモデル、図に示したモデル構造のアップグレードをモデル化します。
ブーストGBDTモデルアンサンブルを考えに基づいている、複数の部品で構成決定木により、次のような利点があります。
①入力フィーチャの分布が必要とされていません
②エントロピ自動利得変換機能、特徴の組み合わせ、特徴選択および個別の特徴の高次元の組み合わせ、手動変換プロセスの必要性を排除し、そして支持体の複数の相互作用があります
③関係なく、複雑さの予測と機能の数
決定数字の数をk = 50、ツリーの深さd = 6、比較次予測モデル世代の複雑さ、モデルの複雑さは、アップグレード後に元の2.72パーセントまで低減される数N = 160が仮定され
アップグレードに関してモデルGBDTとLRを積み重ねることだけGBDTわずかに大きな利点は、オーバーフィッティングGBDTを防ぐことであるだろう。アップグレード後の効果を高めるために、オンラインの5％程度、GBDT + LRあり、かつので省略し、新たな反復テストの特徴と機能を高め手動変換のステップは、また、より簡単に。
3、最近の歴史
数百次元のGBDT + LR発注モデルの入力フィーチャ寸法は、共通の特徴が密集しています。
この機能ID、ラベル、および他のトピックを含む、優れた汎化能力が、メモリ容量、高次元を大きくする必要があるので、比較的貧弱であるメモリ容量を強化するために、コンテンツの特徴をお勧めします。（単位：百万ドルは、上記の寸法）、ビデオ機能、。
高次元の特徴をLRに追加された場合GBDTは、スパース高次元機能をサポートしていない、一方が他方の次元モデルおよび計算の複雑さは、成長のO（N ^ 2）レベルとなり、高次元の特徴の人工的な組み合わせを必要とします。したがって、モデルGBDT + FMとしてのデザインは、代替用途因子分解マシンモデルLRを示します。
分解マシン（FM）モデル以下に示すように、以下の利点を有します。
1.モデル式
2.線形モデルの最初の二つ、LRの役割の等価モデル
3.第三の用語は、二次交差項が自動的にクロス組成物を特徴とすることができています
4. Oへの暗黙的なベクトル、予測モデルトレーニングの計算の複雑さを増加させると減少することにより（N）
5.サポート疎な特徴
これらの利点は、入力、以下のモデル構造図としてFM GBDTリーフノードと疎な特徴（コンテンツ特性）の使用は、GBDT +モデルFM GBDT +後にオンラインに比べて良好な支持疎を有するGBDT + FM特性を作りますLR指標6％4％の間の効果を高めます。
次元モデルの急速な増加につながることができ、ユーザ特性としてモデルで使用される典型的なFMのユーザID、ユーザは、いくつかの人気のある、比較的低い汎化能力をカバーすることができます。ここでは、ラベルの代わりに、ユーザID、減少フィーチャ寸法で、ユーザーの視聴履歴や興味を使用して、ユーザーが興味を持って缶の再利用があるが、ためにも対応する特徴一般化を向上させます。
私たちは、主に解決するために最適化アルゴリズムの3種類のL-BFGS、SGDとFTRL（フォロー-正則リーダー）を使用してみてください：
1. SGD及びL-BFGS効果以下、初期化パラメータを有するL-BFGS密接な関係の効果
2. SGDと比較tRLをは、以下の利点を有します。
（1）通常のL1と、学習機能がより希薄です
（2）蓄積の勾配を使用して、収束を加速
（3）十分な学習を各機能を確保するために、発生頻度のサンプルに応じて、特徴の学習速度を決定します
FMモデルは、疎な特徴のために、より適している、それぞれの機能が十分に学習できることを保証するために、広くFTRLを変える出現頻度を備えています。ラインテストは、リフト効果の疎な特徴FTRL SGDよりも4.5％を示しました。
4、現代的なモデル
密集機能と共通の特徴（埋め込み）埋め込まれた学習することができるGBDT + FMモデルは、このような用途として情報埋め込みの深さが十分ではないした構造を有し、そして（深いニューラルネットワーク）の学習の深さは、モデルの精度を改善するために深さ情報を抽出しました抵抗は、それが成功した機械学習の多くの分野に適用されています。したがって、我々は、DNNがモデルに導入並べ替えるソートの全体的な品質を向上します。
隠された層のDNN最後の層、GBDTリーフノード出力、高次元：入力3つの部分で構成され、図に示すモデルアーキテクチャ、モデルの最後の層としてFM層、すなわち、融着層、のDNN + GBDT + FMアンサンブルまばらな機能。GBDT + FMに対するモデルは、4％の効果を増強した後、モデルアーキテクチャのDNN + GBDT + FMアンサンブルは、オンライン、以下に説明します。
4.1 DNNモデル
（A）は、完全に接続されたネットワークを使用して、3つの隠れ層の合計。
（B）は、それぞれ隠れノード1024 512及び256の数。
（C）ウェル意味内容に基づいて、2つの埋め込みのようにユーザーの行動を含む事前訓練埋め込みベクトルユーザーとビデオを、。
ディープウェル数学的分布を有するから（D）DNN特性情報は、正規化後などの統計的特性に、このような特徴を埋め込むように、抽出されました。
必須ではないが（E）は、DNNの特徴は、正規化されなければならないが、試験は、いくつかの変動幅が大きすぎるので、それはDNN効果をもたらす外れ値機能が低下することを見出しました。
4.2 GBDTモデル
（A）入力は高密度非正規化および正規化を含む、請求別列車、。
連続および離散機能することができる（B）プロセスは戻りませんでした。
（C）離散エントロピー利得の特徴との組み合わせに応じて自動的に入力されます。
4.3 FM統合レイヤ
同時にトレーニングで同じネットワークとして（A）FM DNNモデルおよびモデル。
（B）請求DNN、GBDT出力特性及び疎融合と相互。
4.4分散TensorFlowトレーニング
マイクロサービスをサービングTensorFlowに基づいて4.5オンライン予測
DNN + GBDT +使用アンサンブルFMモデルは、アダム・オプティマイザです。アダムは、Adaptiveグラデーションアルゴリズム（AdaGrad）と二乗平均平方根伝播（RMSProp）アルゴリズムを組み合わせています。これは、各変数が独自のステップサイズが減少している、全体的な減少ステップサイズが現在の勾配に応じて調整され、より良好な収束速度を有する、ノイズのデータを収容することができます。実験は、最適化の様々なテストし、アダムの効果が最適です。
5、業界の現状DNNはランキング
①Youtubeは、2016年にDNNソートアルゴリズムを開始しました。
②上海交通大学とUCLは、ユーザーがクリックを予測するために2016年に製品ベースのニューラルネットワーク（PNN）ネットワークを開始しました。DNN層におけるPNN同等の機能がクロス製の、我々のアプローチは機能にFMに渡るれる奥行き情報を抽出するには、DNNフォーカスを行います。
③Googleが広くて深いモデル2016で導入され、これはクロス機能LRの交換に基づいてFMを使用して、我々の現在のモデルの基礎である、クロスの汎化能力を向上させ、計算の複雑さを簡素化します。
メカニズムを使用するには、アリ④注意今年は、ディープ・インタレスト・ネットワーク（DIN）商品CTRの見積もりを導入埋め込みベクトルの精度を最適化し、価値の学習です。
IVの概要
ソート推薦システムは、インパクトの結果のための勧告は、モデルアルゴリズムの優秀さに加えて、また非常に重要であり、機械学習の古典的なシーンですが、より多くのビジネスのために備えて、エンジニアリング、建築、およびデータ処理パイプラインの詳細については、慎重な流れ精査との綿密な最適化。
まだ始まったばかりであるDNNの導入をランキング、また、より多くの多様性とマルチターゲットをしようと、機能を埋め込み、モデルのアーキテクチャを追跡する必要があることは、やることを学ぶコールドスタートより正確でより人間的な勧告を提供するために、ユーザーエクスペリエンスを最適化します。
リファレンス
[1]チェンらヘンツィ、。「ワイド＆推薦システムのための深い学習。」推薦システムのための深い学習に関する第1回ワークショップの議事録。ACM、2016。
[2]らク、Yanru、。「製品ベースのユーザ応答予測のためのニューラルネットワークが。」データマイニング（ICDM）、2016 IEEE第16回国際会議に。IEEE、2016。
[3]彼、Xinranら。「フェイスブックでの広告のクリックを予測から、実用的な教訓。」オンライン広告のためのデータマイニングの第八回国際ワークショップの議事録。ACM、2014。
[4]周、Guorui、ら。「ディープ・インタレスト・ネットワーククリックスルー率の予測のための。」arXivのプレプリントarXivの：1706.06978（2017）。
[5] Rendle、ステファン。「因数分解マシン。」データマイニング（ICDM）、20
