論文: https://arxiv.org/pdf/2010.03045.pdf
この論文では、次元間相互作用を効果的に解決できるトリプレット注意を提案します。以前の注意方法と比較して、2 つの主な利点があります。
1.無視できる計算オーバーヘッド
2.次元を減らすことなく多次元相互作用の重要性を強調し、チャネルと重みの間の間接的な対応を排除します。
チャネル アテンションを計算するための従来の方法 これらのチャネルの重みを計算するために、入力テンソルはグローバル平均プーリングによって空間的にピクセルに分解されます。これにより、空間情報が大幅に失われるため、注意が単一のピクセル チャネルで計算される場合、チャネル次元と空間次元の間の相互依存関係は存在しません。空間的相互依存の問題を軽減するために、空間とチャネルに基づく CBAM モデルが後で提案されますが、チャネルの注意と空間の注意は分離されており、計算は互いに独立しています。空間的注意を構築する方法に基づいて、この論文では、次元間相互作用の概念を提案します。これは、空間次元と入力テンソルチャネル次元の間の相互作用をキャプチャすることによってこの問題を解決します。
