たたみ込みニューラルネットワークモデルをトレーニングするとき、最大プーリングと平均プーリングに遭遇することがよくあります。近年、ほとんどの画像分類モデルは最大プーリングを使用しています。なぜ最大プーリングを使用するのですか？その利点は何ですか？
一般的に、最大プーリングの方が効果的です。最大プーリングと平均プーリングはどちらもデータをサンプリングしますが、最大プーリングは機能選択のようなものであり、より高い分類認識で機能を選択し、線形性、関連する理論によると、特徴抽出のエラーは主に2つの側面から生じます：（1）近傍サイズの制限による推定値の分散が増加する;（2）畳み込み層パラメーターのエラーが推定平均の偏差を引き起こす。一般的に言えば、平均プーリングは最初の種類のエラーを減らし、画像のより多くの背景情報を保持でき、最大プーリングは2番目の種類のエラーを減らし、より多くのテクスチャ情報を保持できます。平均プーリングは、全体的な機能情報のサンプリングに重点を置いており、パラメーターディメンションの削減に大きく貢献し、情報の完全な送信に反映されます。DenseNetなどの非常に代表的なモデルではモジュール間の接続のほとんどは平均プーリングを使用しますが、次元を減らしながら、特徴抽出のために次のモジュールに情報を転送する方が有利です。
平均プーリングは、グローバル平均プーリング操作でも広く使用されており、ResNetおよびInception構造の最後の層では、平均プーリングが使用されます。場合によっては、モデル分類子の終わり近くでグローバル平均プーリングを使用すると、平坦化操作が置き換えられ、入力データが1次元ベクトルになることがあります。
最大プーリングと平均プーリングの使用パフォーマンスは、畳み込みネットワークモデルの設計に依然として非常に役立ちます。プーリング操作は、全体的な精度の向上にはほとんど影響しませんが、パラメーターを減らし、次元を減らし、過剰適合を制御し、モデルのパフォーマンスを向上させ、節約します。計算能力の役割はまだ非常に明白であるため、プーリング操作は、畳み込みニューラルネットワークの設計に不可欠なリンクです。