one-hot中只有一个非零向量,相对集中。而对于分布式表示,向量中有大量的非零向量,相对分散,把词的信息分布到各个向量中去了。这一点跟并行计算里的分布式并行相像。
Global Generation of Distributed Representation
one-hot中只有一个非零向量,相对集中。而对于分布式表示,向量中有大量的非零向量,相对分散,把词的信息分布到各个向量中去了。这一点跟并行计算里的分布式并行相像。
Global Generation of Distributed Representation