注意力机制Attention Mechanism

https://www.bilibili.com/video/BV1Ff4y187nr?p=1&vd_source=dc534a107c49970f2bcc80d979df8457

1.思想

从众多信息中选取对目标有用的信息,并聚焦到这些信息上(由权重系数决定),减少不必要的算力,提高模型效率

实现:从encoder-decoder框架理解,对输入设置权重,来区分不同信息的重要程度

    • 计算过程

猜你喜欢

转载自blog.csdn.net/m0_67357141/article/details/128859205