DPCNN (Deep Pyramid CNN) は、2017 年に Tencent AI-Lab によって提案されたテキスト分類用のネットワークであり、「ディープ ピラミッド畳み込みニューラル ネットワーク」と呼ぶことができます。
论文：テキスト分類のためのディープピラミッド畳み込みニューラルネットワーク
前回のブログ「TextCNN: テキスト分類のための CNN ネットワーク」では、 TextCNN の長距離テキスト特徴の捕捉能力は理想的ではないと言われましたが、その後、学術コミュニティはこのパフォーマンスを改善するために多くの試みを行ってきました。DPCNN の提案が完成するまで、非常によくこの問題を解決しました。
DPCNN はワードレベルベースのネットワークです。NLP のトークナイザーについては、トークナイザーの概要を参照してください。
DPCNN は長距離テキストの依存関係をどのようにキャプチャしますか? 答えはそのネットワーク構造にあります。
DPCNN は、ダウンサンプリングに size=3 および stride=2 の MaxPooling を使用するため、シーケンスの長さは元の半分に圧縮され、認識できるテキスト セグメントは以前の 2 倍になります。このため、DPCNN には長距離テキストの特徴を抽出する機能があります。
数回のダウンサンプリングの後、フィーチャ レイヤーのサイズは継続的に半分になり、ピラミッド形状を形成するため、ディープ ピラミッドと呼ばれます。DeepというのはResNetを使っているからですが、ResNetは2017年にCV分野で提案され使われたばかりなので、NLP分野での活用はかなり革新的です。
TextCNN と同じ、Conv1d、BatchNorm1d、MaxPool1d が DPCNN で使用されます