推荐系统,“广告Match底层技术”中的名词(TDM、HNSW、PQ)

召回:匹配

TDM:"树状深度模型"(Tree-based Deep Model),是一种结合了树状结构和深度学习的模型,主要用于解决大规模推荐系统中的候选项生成(candidate generation)问题。在推荐系统中,候选项生成是一个关键步骤,其目的是从庞大的物品集合中快速有效地筛选出一小部分与用户可能感兴趣的物品

TDM 的核心功能和特点包括:

  1. 大规模候选项筛选:TDM 能够处理数百万甚至数十亿级别的物品库存,有效地从中筛选候选项。

  2. 结合树状结构和深度学习:TDM 使用树状结构来组织物品,通过层级分解的方式将大规模的推荐问题转化为一系列局部的二分类问题。每个节点在树中代表一组物品,而深度学习模型则用于评估用户对这些物品组的兴趣

  3. 高效性和准确性:通过这种结构,TDM 不仅提高了计算效率(因为在树的高层可以快速过滤掉大量不相关的物品),同时也保持了推荐的准确性(通过在树的低层进行更细致的筛选)。

  4. 动态更新:TDM 支持动态更新,能够适应用户兴趣的变化以及新物品的加入。

  5. 适用于复杂特征:TDM 能够处理各种类型的用户和物品特征,包括用户的历史行为、物品的属性等。

HNSW 检索图:来源于“【TPAMI 2020】Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs”,HNSW(分层导航式小世界)检索图是一种用于高效相似性搜索的数据结构,尤其适用于在大规模数据集中查找最近邻(nearest neighbors)。这种方法是基于“小世界”网络的概念,其中任意两个节点可以通过相对较短的路径相互连接。HNSW 利用这个概念来加速搜索过程,通过构建多层索引结构来优化路径寻找过程。

在 HNSW 中,数据被组织成多层结构,每一层都是一个图,图中的节点代表数据点。顶层图包含较少的节点,可以快速遍历,而底层图包含所有数据点。搜索时,首先在顶层图中找到最接近查询点的节点,然后逐层向下,每层都更精确地搜索直到达到底层。

HNSW 的关键特点包括:

  1. 分层结构:通过多层索引结构,从宏观到微观逐步缩小搜索范围。
  2. 效率和准确性的平衡:相比其他近似最近邻搜索算法,HNSW 在效率和准确性之间取得了很好的平衡。
  3. 适应大规模数据集:特别适用于高维数据和大规模数据集的情况。

HNSW 检索图因其出色的性能和灵活性,在机器学习和数据检索领域被广泛应用。

Product Quantization:向量量化PQ

降低内存使用量:128维 --> 8维

丢失很多的信息

猜你喜欢

转载自blog.csdn.net/weixin_43135178/article/details/134927574
pq