マークダウン
モチベーション
平面抽出における平面セグメンテーションをより正確にするために、イメージ プレーン抽出にエッジ抽出を追加するには制約があることを理解してください。このようにして、抽出された平面はシーンをより適切に表現できます。
論文の順序
4) エッジ検出を活用した直方体形状のオブジェクトの洗練された平面セグメンテーション
論文の目的
この論文の主な目的は、単一の箱状オブジェクトのエッジ抽出によって平面のセグメンテーションを制限することです。
なぜセグメント化された平面をリファインできるのか
この論文は主に、Plane-RCNN 抽出平面、エッジ抽出、線分抽出の 3 つの部分に分かれています。これら 3 つの部分は拘束することができ、同様の直方体形状のオブジェクトの平面エッジを非常に適切にセグメント化できます。平面セグメント化領域を調整するプロセスは次のとおりです: 1) 直方体形状のエッジを抽出これはエッジを抽出するためのネットワークです
:
DexiNedこのエッジ抽出ネットワークの詳細を知りたい場合は、「Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection」ネットワークを参照してください。
2) PlaneRCNN ネットワーク アーキテクチャを使用した平面セグメンテーションの抽出。詳細なプロセスについては以前に詳しく説明しました。論文を見る:
https://blog.csdn.net/weixin_43851636/article/details/112546145
抽出された平面セグメンテーションの結果は次のとおりです。以下のように:
良好な平面を抽出できますが、分割された領域のエッジは一般にあまり正確ではありません。
3) 線分抽出。従来の線分抽出です。この論文は次のとおりです: コーナーとエッジの組み合わせ検出器。画像のエッジ部分を抽出することができます。具体的な方法は以下の通りです。
1: マスクの幅を線分と交差するように広げます。
2: 平面領域セグメンテーションのマスクと対応する拡大輪郭画像を通じて、対応する各平面の境界領域の境界エッジを計算します。2 つの方法があり、その 1 つは、DBSCAN メソッドを使用してオブジェクトの構造を抽出する方法 (論文「ノイズのあるアプリケーションの密度ベースの空間クラスタリング」を参照) と、前のアプリオリ平面を使用して領域を分割していくつかのデータを取得する方法です。クラスター。下図に示すように、2 つのクラスターが表示されます。
エッジなので、線分で表現する必要があります。したがって、マスクの下の線分を取得するには、紙はまずコーナーを検出し、次に、以下の図に示すように、各角が削除された頂点線分を取得します
。各線分は ransac によって処理され、ransac 後の線分が取得されます。この処理の主な理由は、マスクとエッジの一部が重なり合わず、一部の線分が失われる可能性があるため、ransac を使用して線分を再生成するためです。
方法は次の通りです。
線分にはransacを使用し、点線はransac後の線を表し、それと角を合わせてボックスの辺と呼びます。
別の方法は、ハフ変換を使用して線を生成し、線の交点から角を取得し、その角が本物で有効であるかどうかを判断することです。マスクの内側かどうかの判断が必要。線分をたくさん取得します。線分を抽出でき、ノイズに強いハフ変換を詳しく確認できます。
その結果、線分の集合が得られます。線分であるかどうかなどを判断する必要があります。k
-meansアルゴリズムを使用して、線分を始点集合Aと終点集合Bに分割します。次に、フィットマスクの端を通過させます。ベクトルのセット (始点と終点) を取得するための関数は次のとおりです。
其中 P a , P b P_a,P_b Pあ、Pbそれぞれ開始頂点と終了頂点を表します。接続線がマスクの端にうまくフィットできることを示していることがわかります。I ( P a P b ) I(P_a P_b)によって私（PあPb)ピクセルの一致がわかります。
概要は次のとおりです。 平面の境界エッジを見ると、線分の形で表現する必要があるため、コーナーで検出され、境界エッジが線分に分割され、ポリゴン領域が得られます。線分で表現します。図bに示されています。これは線分であるため、RANSAC 回帰を使用して、これらの線分が 2 つの端点で表される直線に適合する 2 つの点記述子を見つける必要があります。
上の線分を当てはめた後に得られる直線なので、結果は線分のペアになります。つまりP a ∈ A , P b ∈ B P_a \in A,P_b \in BPあ∈あ、Pb∈B、エッジee はe。このコスト関数CCC は近似の品質を表します。
C ( P a , P b ) = 0.5 ∗ I ( P a P b ‾ , me ) + 0.5 ∗ ∣ ∣ P a − P b ∣ ∣ maxk ∈ A , l ∈ B ( ∣ ∣ P k − P l ∣ ∣ ) (1) C(P_a,P_b)=0.5*I(\overline{P_aP_b}, m_e)+0.5*\frac{||P_a-P_b||}{max_{k\ in A,l \in B}(||P_k-P_l||)} \tag{1}C ( Pあ、Pb)=0 。5∗私（PあPb、メートルえ)+0 。5∗マックス_ _k ∈ A 、l ∈ B( ∣ ∣ Pｋ−P私∣ ∣ )∣ ∣ Pあ−Pb∣ ∣( 1 )
ここで、I ( P a P b ‾ , me ) I(\overline{P_aP_b}, m_e)私（PあPb、メートルえ)は法線ベクトルの交点です:
I ( P a P b ‾ , me ) = P a P b ‾ ∩ me P a P b ‾ (2) I(\overline{P_aP_b},m_e)=\frac{\overline { P_aP_b} \cap m_e}{\overline{P_aP_b}} \tag{2}私（PあPb、メートルえ)=PあPbPあPb∩メートルえ( 2 )
ここで、P a P b ‾ \overline{P_aP_b}PあPbわずか 1 ピクセルの太さの直線を表します。
感想：
1) この典型的なアルゴリズムは、後続の最適化にエッジ マスクとプレーン マスクを使用して、境界ボックスの形状で人工ファセットを抽出します。これはすべて従来の方法であり、式は非常に簡単です。
2) 同時に、この用途は比較的狭いです。
3) 同時に、オブジェクトの概念を使わずに平面を 1 つずつ処理しますが、オブジェクトをアプリオリに使用でき、そのオブジェクト内の平面を処理できればより良いでしょう。物体検出?
これは論文で提供されているアルゴリズムです。私が提供したアルゴリズムも比較的単純なので、アルゴリズムを再検討する必要があります。これはニューラル ネットワーク用のアルゴリズムではありません。これは、従来のアルゴリズムを使用して後から平面を改良するアルゴリズムです。
要約: したがって、ニューラル ネットワーク アルゴリズムから平面セグメントを処理することはあまり役に立ちません。