特徴ピラミッドとは何ですか?
特徴ピラミッド (Feature Pyramid) は、コンピューター ビジョンにおけるオブジェクト検出、画像セグメンテーション、ターゲット追跡などのタスクに一般的に使用されるテクノロジです。その主なアイデアは、さまざまな画像スケールで特徴を抽出することで、さまざまなサイズと解像度のオブジェクト情報をキャプチャすることです。
具体的には、機能ピラミッドは通常、次のステップで構成されます。
- 画像ピラミッド: まず、入力画像に対してマルチスケールのダウンサンプリングまたはアップサンプリングが実行されて、各レイヤーが異なるスケールに対応する画像ピラミッドが生成されます。
特徴抽出ネットワーク: 畳み込みニューラル ネットワーク (CNN) などの特徴抽出ネットワークは、各スケールで適用されて、そのスケールで特徴を抽出します。 - 特徴の融合: さまざまなスケールの特徴を融合して、さまざまなスケールの情報を含む一連の特徴ピラミッドを取得します。
- モデルのトレーニングと推論: トレーニング フェーズでは、特徴ピラミッドがターゲット検出、画像セグメンテーション、およびトレーニング用のその他のモデルに入力されます。推論フェーズでは、特徴ピラミッドを使用してターゲットの特徴を抽出し、ターゲットの検出や画像などのタスクを実行します。セグメンテーション。
- 特徴ピラミッドの利点は、異なるスケールの画像を同時に処理できるため、異なるサイズのオブジェクトを検出できることです。同時に、異なるスケールの特徴を融合することにより、モデルの耐ノイズ性と物体形状への適応性を向上させることができます。
アップサンプリングとダウンサンプリングは同じですか?
必ずしも同じではありません。画像ピラミッドでは、アップサンプリングまたはダウンサンプリングは等比例または非比例の方法で実行できます。
比例アップサンプリングまたはダウンサンプリングとは、半分に縮小したり 2 倍に拡大したりするなど、画像のサイズが各スケールで同じ比率で変化することを意味します。この方法では、画像のジオメトリを変更しないで維持できますが、一部の情報が失われたり冗長になったりする可能性があります。非比例アップサンプリングまたはダウンサンプリングにより、画像サイズが各スケールでさまざまな程度に変化することが可能になります。たとえば、物体検出タスクでは、さまざまなサイズのターゲットに対応するために、低解像度画像ではより大きなダウンサンプリングを実行し、高解像度画像ではより小さなダウンサンプリングを実行できます。この方法では、さまざまなスケールでターゲット情報をより適切にキャプチャできますが、画像のジオメトリが破壊される可能性があります。
したがって、等比例または非等比例のアップサンプリングまたはダウンサンプリング戦略の選択は、特定のタスク要件とアプリケーション シナリオによって異なります。