1.DeepFM模型
1.1 DeepFM模型产生背景
- DNN的参数过大：当特征One Hot特征转换为Dense Vector时，网络参数过大。
- FNN和PNN的交叉特性少：使用预训练好的FM模块，连接到DNN上形成FNN模型，后又在Embedding layer和hidden layer1之间增加一个product层，使用product layer替换FM预训练层，形成PNN模型
FNN:
PNN:PNN使用product的方式做特征交叉的想法是认为在ctr场景中，特征的交叉更加提现在一种“且”的关系下，而add的操作，是一种“或”的关系，所以product的形式更加合适，会有更好的效果。
1.2 DeepFM模型
DeepFM主要在FNN和PNN的基础上，采用并行方式，结合FM Layer和Deep Layer，提高模型计算效率。
1.2.1 FM部分
主要功能：有效地训练出交叉特征的权重
模型公式：
FM Layer主要是由一阶特征和二阶特征组合，再经过Sigmoid得到logits
FM Layer的优点：
- 通过向量内积作为交叉特征的权重，可以在数据非常稀疏的情况下，有效地训练出交叉特征的权重（因为不需要两个特征同时不为零）
- 计算效率非常高
- 尽管推荐场景下的总体特征空间非常大，但是FM的训练和预测只需要处理样本中的非零特征，这也提升了模型训练和线上预测的速度
- 由于模型的计算效率高，并且在稀疏场景下可以自动挖掘长尾低频物料，可适用于召回、粗排和精排三个阶段。应用在不同阶段时，样本构造、拟合目标及线上服务都有所不同“
1.2.2 Deep部分
- 使用全连接的方式将Dense Embedding输入到Hidden Layer，解决DNN中的参数爆炸问题
- Embedding层的输出是将所有id类特征对应的embedding向量连接到一起，并输入到DNN中
1.3 DeepFM代码
from torch_rechub.basic.layers import FM, MLP, LR, EmbeddingLayer
from tqdm import tqdm
import torch
class DeepFM(torch.nn.Module):
def __init__(self, deep_features, fm_features, mlp_params):
"""
Deep和FM分别处理deep_features和fm_features两个不同的特征
mlp_params表示MLP多层感知机的参数
"""
super().__init__()
self.deep_features = deep_features
self.fm_features = fm_features
self.deep_dims = sum([fea.embed_dim for fea in deep_features])
self.fm_dims = sum([fea.embed_dim for fea in fm_features])
# LR建模一阶特征交互
self.linear = LR(self.fm_dims)
# FM建模二阶特征交互
self.fm = FM(reduce_sum=True)
# 对特征做嵌入表征
self.embedding = EmbeddingLayer(deep_features + fm_features)
# 设置MLP多层感知机
self.mlp = MLP(self.deep_dims, **mlp_params)
def forward(self, x):
# Dense Embeddings
input_deep = self.embedding(x, self.deep_features, squeeze_dim=True)
input_fm = self.embedding(x, self.fm_features, squeeze_dim=False)
y_linear = self.linear(input_fm.flatten(start_dim=1))
y_fm = self.fm(input_fm)
y_deep = self.mlp(input_deep)
# 最终的预测值为一阶特征交互，二阶特征交互，以及深层模型的组合
y = y_linear + y_fm + y_deep
# 利用sigmoid将预测得分规整到0,1区间内
return torch.sigmoid(y.squeeze(1))
2. DIN （深度兴趣网络）
2.1 DIN产生背景
- 历史信息关注度不足
- 单方面点击预测难以预测用户广泛的兴趣
- 历史数据量大
2.2 DIN模型
2.2.1 Base model
-
Activation Unit：
作用： 在当前候选广告和用户的历史行为之间引入注意力的机制，与当前商品更加相关的历史行为更能促进用户的点击行为。
举例： 在当前候选广告和用户的历史行为之间引入注意力的机制，与当前商品更加相关的历史行为更能促进用户的点击行为。
- Embedding Layer：将高维稀疏的输入转成低维稠密向量
- Pooling Layer and Concat Layer：将用户的历史行为的上述
- Embedding结果变成一个定长的向量，并进行拼接作为MLP的输入
- MLP：全连接层，学习特征的各种交互
- Loss：使用如下公式计算损失
2.3 DIN代码
# 实现注意力部分
class ActivationUnit(torch.nn.Module):
def __init__(self, emb_dim, dims=[36], activation="dice", use_softmax=False):
super(ActivationUnit, self).__init__()
self.emb_dim = emb_dim
self.use_softmax = use_softmax
# Dice(36)
self.attention = MLP(4 * self.emb_dim, dims=dims, activation=activation)
def forward(self, history, target):
seq_length = history.size(1)
target = target.unsqueeze(1).expand(-1, seq_length, -1)
# Concat
att_input = torch.cat([target, history, target - history, target * history], dim=-1)
# Dice(36)
att_weight = self.attention(att_input.view(-1, 4 * self.emb_dim))
# Linear(1)
att_weight = att_weight.view(-1, seq_length)
if self.use_softmax:
att_weight = att_weight.softmax(dim=-1)
# (batch_size,emb_dim)
output = (att_weight.unsqueeze(-1) * history).sum(dim=1)
return output
# DIN的实现
class DIN(torch.nn.Module):
def __init__(self, features, history_features, target_features, mlp_params, attention_mlp_params):
super().__init__()
self.features = features
self.history_features = history_features
self.target_features = target_features
# 历史行为特征个数
self.num_history_features = len(history_features)
# 计算所有的dim
self.all_dims = sum([fea.embed_dim for fea in features + history_features + target_features])
# 构建Embeding层
self.embedding = EmbeddingLayer(features + history_features + target_features)
# 构建注意力层
self.attention_layers = nn.ModuleList(
[ActivationUnit(fea.embed_dim, **attention_mlp_params) for fea in self.history_features])
self.mlp = MLP(self.all_dims, activation="dice", **mlp_params)
def forward(self, x):
embed_x_features = self.embedding(x, self.features)
embed_x_history = self.embedding(x, self.history_features)
embed_x_target = self.embedding(x, self.target_features)
attention_pooling = []
for i in range(self.num_history_features):
attention_seq = self.attention_layers[i](embed_x_history[:, i, :, :], embed_x_target[:, i, :])
attention_pooling.append(attention_seq.unsqueeze(1))
# SUM Pooling
attention_pooling = torch.cat(attention_pooling, dim=1)
# Concat & Flatten
mlp_in = torch.cat([
attention_pooling.flatten(start_dim=1),
embed_x_target.flatten(start_dim=1),
embed_x_features.flatten(start_dim=1)
], dim=1)
# 可传入[80, 200]
y = self.mlp(mlp_in)
# 代码中使用的是sigmoid(1)+BCELoss，效果和论文中的DIN模型softmax(2)+CELoss类似
return torch.sigmoid(y.squeeze(1))
3. 总结
- Deep在FNN和PNN的基础上，采用并行方式，结合了FM 有效实现交叉特征的优点，有效提高了模型的预测效果。
- DIN主要结合了历史信息，利当前信息与客户历史信息的相似度来确认对历史信息的关注度，有效利用了客户的历史信息，提高了对客户点击预测。