3.1日学习笔记

1.word2vec模型

https://zhuanlan.zhihu.com/p/27234078 讲的非常好!

 这里说到了上面的这个结论,我的理解是,学习到的kitten和cat在空间中会更接近吗?难道只能通过和其他词的平行四边形才ok??

嗯,后面说了,训练的嵌入向量也会非常地相似。

skip的当前单词预测上下文的意思是,有一个window,控制生成的训练样本,inputword是当前词,那么outputword就是它附近的词,这样的词对来组成训练数据。训练完最终要的是隐层的嵌入矩阵。

负采样是什么:通过这篇文章我的理解是,如果vocab是10000,那么在更新一个词对时,就需要更新其他9999个单词,这样更新参数量会非常大,而负采样,会在每次学习一个样本时只更新模型的部分参数,比如负采样了5个单词,那么共更新6个神经元的,如果嵌入向量大小为300,那么这样就会大大减少更新次数,而负采样的单词是基于单词的频率的,频率越高,被采概率越大。

2.fastText适用方法及原理理解

https://blog.csdn.net/feilong_csdn/article/details/88655927 (待看)

3.Text CNN

幸好搜了一下,nlp教程中的代码模型都不是无中生有的,是根据论文写出来的啊,所以你别忘记看论文模型,别只看代码,然后p也看不懂。

决定先不看了,不太明白图像里的Chanel到这里会用什么来替代呢?

猜你喜欢

转载自www.cnblogs.com/BlueBlueSea/p/12392881.html
今日推荐