深度理解嵌入(embedding)层

  • embedding是一种专门用在NLP领域的单词编码技术,目的就是减少资源的浪费,或者调整感知野的大小。它用低维向量表示了编码,这种编码方式通过神经网络优化可以表达出单词间的关系。

  • 首先从one_hot开始:
    one_hot的优点:计算方便快捷、表达能力强。
    one_hot的缺点:过于稀疏,过于占用资源,尤其是在数据量特别大时;数据之间完全独立。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_44441131/article/details/106755921