吴恩达深度学习学习笔记——C5W2——自然语言处理与词嵌入-2

1.4 嵌入矩阵

嵌入矩阵与某词的独热编码相乘,即可得到其嵌入向量

1.5 学习词嵌入

神经网络语言模型(以词嵌入作为输入值)

 

其他上下文-目标词对(context/target pair),如,上下文的左边或右边的4个词,上一词(last 1 word),附近一词(nearby 1 word)

1.6 Word2Vec模型

Skip-gram模型

 

 

Softmax分类的一个问题是计算量很大,可使用层级(hierarchical) softmax或非平衡层级(unbalanced hierarchical) softmax提高性能

1.7 负采样

定义一个新的学习任务:负采样

 

 

选择负采样

猜你喜欢

转载自blog.csdn.net/hpdlzu80100/article/details/113879887
今日推荐