推奨アルゴリズム [1] 従来の機械学習による推奨アルゴリズム

推奨アルゴリズム[1]

従来の機械学習の推奨アルゴリズム

協調フィルタリングに基づく推奨アルゴリズム

転置インデックス

転置インデックス。多数の文書から特定の単語を含む一連の文書を検索します。これは O(1) または O(log n) の時間計算量で実行されます。推奨では、広告ライブラリまたはアイテムのコレクションにインデックスが付けられ、いくつかのターゲティング条件に従って、関連する広告またはアイテムが広告ライブラリ内で迅速に検索されます。

インデックスを作成する必要があるドキュメント (アイテム) を収集します。
各文書の単語の分割。
ドキュメントを前処理します。
すべてのドキュメントの逆インデックスを作成します。インデックスには、辞書とすべての逆レコードのリストが含まれます。

ここに画像の説明を挿入

例：

$[外部リンク画像の転送に失敗しました。ソースサイトには盗難防止リンクメカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-8exdaWrn-1673923050957) (C:\Users\11878\AppData\Roaming\Typora) \typora-user-images\ image-20221224202028114.png)]$

$[外部リンク画像の転送に失敗しました。ソースサイトにはリーチ防止メカニズムがある可能性があります。画像を保存して直接アップロードすることをお勧めします (img-GMaT4iJh-1673923050958) (C:\Users\11878\AppData\Roaming\Typora\) typora-user-images\ image-20221225121342039.png)]$

TF-IDF (用語頻度 - 逆文書頻度):

各文書について、バッグオブワード (BOW) を使用して文書をベクトル形式で記述します。これは類似性の測定に便利です。シソーラスを構築すると、各記事はシソーラスの長さと同じベクトルに対応し、ベクトルの対応する位置要素は文書内で対応する単語が出現する回数になります。逆文書頻度の場合: 単語がすべての記事に出現する場合、その単語は記事間の類似性に寄与せず、記事間の違いを区別する方法がありません。この単語はベクトルに対するものです。寄与率を下げる必要があります。

$IDF(m)=log(\frac{N}{DF(m)})$ 、N は記事の総数を表し、m はこの単語が出現する記事の数を表します。

記事内の各単語について、値 $tf-idf_{t,d}=tf_{t,d}\times idf_t を計算する必要があります。$ 現在の文書内の単語の頻度は、その単語が登場した記事の数の逆数で乗算されます。

単語が少数の文書にのみ出現し、現在の文書ではより頻繁に出現する場合、その単語は現在の文書をより代表しており、単語の割合が比較的大きくなります。
単語の出現頻度が低い場合、または多くの文書に出現する場合、その単語の重みは比較的小さくなります。

それらは何に使われますか? 記事について説明します。記事の類似性を計算します。

ユーザーベースの協調フィルタリングアルゴリズムの説明

同じような趣味を持つ人を見つけるにはどうすればよいですか? データの類似性を計算してみよう！

ジャカード類似係数

$BJ(A,B)=\frac{A\cap B}{A \cup B}$
角度余弦(コサイン)

ベクトル A とベクトル B の間の角度のコサイン公式

$cos(\theta)=\frac{a\cdot b}{|a||b|}$
その他の方法: ユークリッド距離、マンハッタン距離

ここに画像の説明を挿入

まず最も似ている人を見つけるにはどうすればよいでしょうか? 類似度を計算してみよう！

ここに画像の説明を挿入

この式は、ユーザー i とユーザー j の類似度を計算するものです。I(i, j) は、ユーザー i とユーザー j が一緒に評価した項目を表します。R(i, x) は、ユーザー i のユーザー x に対する評価を表します。R (i) 頭の上にバーがあるものは、ユーザー i のすべての評価の平均スコアを表します。平均スコアが減算される理由は、評価が厳しいユーザーと緩いユーザーがいるからです。ユーザーの評価は、相互評価を避けるために正規化されています影響。

最も似ている人を見つけた後、その似た人に基づいて、まだ好きではないアイテムの加重スコアを計算し、最もスコアの高いアイテムが推奨されます。

投稿リストの作成
共起行列を構築する
ユーザー間の類似性を計算します

項目ベースの協調フィルタリングアルゴリズムの説明

ここに画像の説明を挿入

計算式：

既存の問題:

疎行列問題

ユーザーや製品に何千もの評価がある場合、マトリックスは非常に大きくなり、その多くは空白になります。コンピューターを使用してこのようなマトリックスを処理すると、メモリと時間が無駄になります。

投稿リストの作成
共起行列を構築する
ユーザー間の類似性を計算します

潜在因子モデル

マトリックスファクターモデル

$nm\times n$ になります。 $メートル \times n$ の行列。行列要素はアイテムに対するユーザーの好みまたは評価です。 $km\times k$ のいずれか) に分解します。 $メートル \times k$ の行列、別の $nk\times n$ の行列。各ユーザーと各アイテムは k 次元ベクトルで表され、2 つのベクトルの内積はアイテムに対するユーザーの好みを表します。同時に、ユーザー間の類似度やアイテム間の類似度も計算できます。

ここに画像の説明を挿入

解決：

固有値分解
特異値分解
勾配降下法

興味分類の方法に基づいて、アイテムの興味を分類できます。特定のユーザーについては、まずそのユーザーの興味の分類を取得し、次にその分類から好みそうなアイテムを選択します。

公式： $i)=r_{ui}=p_u^Tq_i=\sum_{f=1}^{F }p_{u,k}q_{i,k}$

$p_{u,k}$ $q_{i,k}$ に対するユーザー u の好みです。 $q_{私、}$ 項目 i がカテゴリ k に属する可能性です。これは実際には行列分解のプロセスです。

アイテムを分類するにはどうすればよいですか?
ユーザーがどのような種類のアイテムに興味を持っているか、その度合いをどのように判断するのでしょうか。
特定のクラスについて、このクラスに属するどの項目がユーザーに推奨されるように選択されますか。クラス内でのこれらの項目の重みはどのように決定すればよいでしょうか?

グラフベースのモデル

ここに画像の説明を挿入

コンテンツベースの推奨アルゴリズム

コンセプト

主題の関連情報、ユーザの関連情報、および主題に対するユーザの操作行動に基づいて、推奨アルゴリズムモデルが構築され、ユーザに推奨サービスを提供する。ここでの主題関連情報は、メタデータ情報、タグ、ユーザーコメント、および主題をテキストで説明する手動でラベル付けされた情報である場合があります。ユーザー関連情報とは、人口統計情報 (年齢、性別、好み、地理、収入など) を指します。主題に対するユーザーの操作行動には、コメント、お気に入り、いいね、閲覧、閲覧、クリック、ショッピングカートへの追加、購入などが含まれます。コンテンツベースの推奨アルゴリズムは通常、ユーザー自身の行動にのみ依存してユーザーに推奨を提供し、他のユーザーの行動は関与しません。
実現原理
とアイテムベースの協調フィルタリングアルゴリズムの違い

協調フィルタリングアルゴリズムは、ユーザーとアイテムの関係性を理解して推奨するだけで、アイテム自体の属性は考慮しませんが、コンテンツベースアルゴリズムは、アイテム自体の属性を考慮し、アイテムの特性を利用します。類似アイテムを見つけるためのベンチマークとしてアイテム自体を使用すること。
通常、次の 3 つのステップがあります。
1. ユーザー情報とユーザーの操作行動に基づいてユーザー特徴表現を構築します。
2. オブジェクトのオブジェクト特徴表現は、オブジェクト情報に基づいて構築される。
3. ユーザーとオブジェクトの特徴表現に基づいて、そのオブジェクトがユーザーに推奨されます。

ロジスティック回帰

オフライントレーニング: Spark、sklearn、Tensorflow など、さまざまな特徴の組み合わせをトレーニングします。たとえば、ユーザー (uid) とアイテム (item) の 2 つの特徴の交差によって得られる特徴をトレーニングに使用する場合、uid のユーザーはアイテムを特徴とするアイテムの超平面により重量を軽減します。

オンラインで使用する場合、多くの特徴の組み合わせを入力し、保存された重みファイルから対応する重みを見つけ、対応する重みを取り出して直接計算して、対応する分類結果を取得します。

LS-PLM (大規模区分線形モデル) 大規模区分線形モデル

または、MLR (混合ロジスティック回帰) 混合ロジスティック回帰と呼ばれます。

ここに画像の説明を挿入
それは統合されたアルゴリズムとして理解できます。

クラスタリング：ユーザー別（男性、女性）などでサンプルを分類し、カテゴリごとにLRモデルを学習させ、クラスタリング後、各カテゴリの可能性値を取得します。この可能性を重みとして使用して、複数の LR モデルを統合します。

特徴交差に基づく推奨アルゴリズム

通常の線形モデルでは、各特徴は独立して考慮され、特徴の線形結合は活性化関数の後に弱く交差されます。

多数の特徴間には相関関係があります。

非線形強化。

情報はより差別化されます。