Detecção de plano robusta usando informações de profundidade de uma câmera de profundidade do consumidor

1. Resumo

Um algoritmo robusto de detecção de plano baseado em profundidade (DPD) é proposto, que consiste em duas partes: detecção de plano baseada em crescimento de região e refinamento em dois estágios.

2、DETECÇÃO DE PLANO CONDUZIDO POR PROFUNDIDADE

2.1 Geração de patches de semente válidos

1. Para garantir que o processo de crescimento seja estabelecido em um ponto de semente confiável, o tamanho é $eu\times O\; quadrado\; deslizante\; de\; L$ pixels desliza em unidades de um pixel em todo o mapa de profundidade e verifica todos os pontos na janela;
2. Todas as grades de pixels na janela têm valores de profundidade são considerados patches de semente válidos, use $p_{}$exibição, $i$ é o índice de geração de sementes;
3. Para cada patch válido, o ajuste de plano é executado usando mínimos quadrados. O ponto definido PP no patch$P$ , a raiz quadrada média do erro de ajuste dentro do patch:
   
4. A raiz quadrada média do erro indica o nivelamento de cada patch, quanto maior o nivelamento, menor o erro;

2.2 Processo de Crescimento da Região

Declare algum significado simbólico:

• $j$ é usado como um sobrescrito, indicando o índice iterativo do processo de crescimento. Por exemplo: um plano$S_{}$em $O\; crescimento\; de\; j$ vezes, expresso como$S_{eu}^{}$;
• $S_{eu}^{}(f_{eu}^{},d_{eu}^{})$ , entre os quais$f_{eu}^{}$和$d_{eu}^{}$são as equações estimadas e os erros de ajuste para os planos, respectivamente

Etapas específicas:

1. Classifique cada patch válido na etapa anterior de acordo com o tamanho do RMSE; registre-o como a lista de sementes ${PS}_{}$, ${PS}_{}=\{\forall {\psi }_{},p_{}\in {PS}_{}:d_{}<=d_{};n<m\}$ , se o RMSE dos dois patches for igual, o patch anterior será classificado primeiro;
2. O primeiro patch na lista é usado como uma semente para iniciar o crescimento iterativo até que uma das seguintes condições de parada seja atendida:
   (a) Defina $N_{eu}^{}$A vizinhança está vazia
   (b) não há ponto adequado para se juntar à corrente $N_{eu}^{}$plano
3. A lista de sementes é atualizada para ${PS}_{}$, para remover todas as manchas de sementes engolfadas no plano de detecção, e o processo de atualização é realizado no final do processo de crescimento de cada plano para gerar uma nova lista de sementes de crescimento Ψ ${PS}_{eu+}=\{\forall {\psi }_{}\in {PS}_{}:p_{}\notin S_{}\}$ , onde i é o índice do plano detectado.
4. Esse processo de crescimento plano é repetido até que a lista de sementes atualizada esteja vazia.

Estratégias de crescimento:

• 平面$S_{}$O valor inicial antes do crescimento é $S_{eu}^{}(f_{eu}^{},d_{eu}^{})=s_{}$, $s_{}$é o melhor plano de ajuste do primeiro patch na lista atual;

• Os pontos de campo são respectivamente substituídos na equação do plano $f_{eu}^{}$, obtenha o erro de ajuste correspondente
  (1) Se o erro de ajuste for maior que o limite T, o ponto adjacente correspondente é considerado um outlier do plano de crescimento atual, caso contrário, o ponto será mesclado no plano.

• Após o primeiro estágio de crescimento, a equação plana $f_{eu}^{}$Usará o método de ajuste de plano LLS para otimizar para fi 1 f^1_i no novo conjunto de pontos$f_{eu}^{}$，$d_{eu}^{}$Atualize para δ i 1 δ^1_i pela fórmula (2)$d_{eu}^{}$

Um processo semelhante é repetido para outros estágios de crescimento, que podem ser resumidos como:

onde $T(d,j)$ é o limite, que é o valor de profundidade$d$ e número de crescimento$função\; de\; j$ .
Função limiar:
uma função limiar que considera tanto o modelo de ruído quanto o tamanho do plano:

onde,$\tau$ é a rugosidade máxima admissível do plano;$\lambda$ determina a taxa de mudança do limiar;$HwaWW$ _$W$ representa o tamanho do mapa de profundidade;$Sr.$ e$\kappa$ são duas constantes.
Portanto, para cada plano,$T(d,j)$ por$j=1$ inicialização, o limite máximo é determinado por j. O parâmetro τ τpode ser ajustado$\tau$ para acomodar a variabilidade da refletividade do objeto e tornar a detecção de plano mais robusta para o ruído do mapa de profundidade.
Ao mesmo tempo, o parâmetro λ permite definir a taxa de crescimento do limite inicial do estágio de crescimento em diferentes casos.

2.3 Refinamento de Planos Detectados

Depois de detectar o avião, refine-o. Resolva o problema de supercrescimento e sub-crescimento.

2.3.1 Correção de crescimento excessivo:

Na Figura 3, ${\overline{S}}_{}$和${\overline{S}}_{}$é o plano real, e $S_{}$Invadiu Su por engano e sofreu de supercrescimento.
Para resolver este problema, três etapas são executadas sequencialmente nos planos previamente detectados:

• 1. Determine a linha de interseção;
• 2. Detecção de áreas de crescimento excessivo;
• 3. Redistribua a área

Determine a linha de interseção:
Assuma que o plano atual a ser processado é $S_{}$, somente quando $S_{}$adjacente a $S_{}$A verificação de supercrescimento só é realizada quando a linha de interseção de , está parcialmente dentro do limite da imagem. Porque a linha de interseção pode ser expressa pela equação dos dois planos em relação a ttA forma paramétrica de$t$

: onde "×" representa a operação de produto vetorial de dois vetores e o ponto$p_{}$

A detecção de regiões de supercrescimento pode ser calculada :

Para detectar regiões de supercrescimento, um elemento de varredura linear é usado para escanear verticalmente ao longo de segmentos de linha que se cruzam. A extensão da área coberta de vegetação depende de vários fatores, como o ângulo entre dois planos de interseção, a precisão dos dados de profundidade e o limiar $T$。
$S_{}$Soma $S_{}$O ângulo entre $\theta$ :

a largura da região de vegetação é dada por: onde

,$T$ é$O\; valor\; máximo\; de\; T(d,j)$ .
Portanto, de (9) obtemos$S_{}$largura teórica. Para garantir que os pixels na área coberta possam ser completamente cobertos durante o processo de digitalização, a largura real do elemento de digitalização é selecionada como $\left[w\right](1+ϵ)$ ,$\left[w\right]$ é para arredondar,$ϵ>0$ , então a largura real é sempre maior que a largura teórica, o que garante que quando um lado do elemento de varredura está localizado no segmento de interseção, o outro lado é sempre$S_{}$cercado. A varredura começa em uma extremidade do segmento de linha de interseção até que o elemento digitalizado alcance a outra extremidade. Na Fig. 4(b) e (c), a região de supercrescimento detectada So é mostrada em laranja e pode ser descrita como:

onde $p$ indica que pertence à área de crescimento excessivo$S_{}$, e o erro de ajuste é menor que os dois limiares de crescimento planar.

Redistribua a área:
quanto mais longe os pontos estiverem do segmento de linha de interseção, mais eles serão relativos a $S_{}$Quanto maior o erro de ajuste, o $S_{}$O ponto de aresta PE em P_E$P_{}$Substituir as duas equações planas pode determinar $S_{}$onde deve ser alocado. Os critérios para realocar regiões de supercrescimento podem ser expressos como:

2.3.2 Correção de Subcrescimento

O algoritmo explora a relação espacial de dois planos estimando equações, mesclando assim apenas planos paralelos, coplanares e adjacentes.
Porque, quanto maior o plano, mais precisa é a suposição da equação do plano.

1. Organize todos os planos detectados em ordem decrescente de tamanho na lista $S$中$S=\{S_{};1\le você\le N\}$ , onde$N$ é o número total de aviões detectados.

2. Em seguida, calcule a combinação de ângulos entre cada dois planos e organize-os na matriz de combinação triangular superior $\Theta$ , especificamente da seguinte forma:
   Em teoria, se dois planos (como$S_{}$e $S_{}$) paralelas, o ângulo entre elas é zero. No entanto, considerando o erro de estimativa e o ruído de profundidade da equação do plano, a condição paralela é modificada como:
   
   onde ${eu}_{você,}=|arccos(n_{você}^{k_{}}\cdot n_{você}^{})|$ , é o plano$S_{}$e $S_{}$O ângulo entre, $△{\theta }_{}$é o plano $S_{}$O ângulo entre o vetor normal de e sua pior estimativa durante seu crescimento:
   

3. Lugar $S_{}$é o maior plano, passamos $△{\theta }_{}$Filtre os planos paralelos a ele e organize-os em ordem de tamanho. Para determinar ainda mais $S_{}$e seus planos paralelos (por exemplo, $S_{}$), calcule $S_{}$Cada ponto em $S_{}$distância relativa. Ao mesmo tempo, S u S_u também é calculado$S_{}$O erro de ajuste de cada ponto acima.

4. Use histogramas para representar esses erros, se a distância Hellinger dos dois histogramas for menor que o limite $T_{}$，$S_{}$e $S_{}$é um plano coplanar. Para medir a distância de Hellinger corretamente, os dois histogramas devem ter (1) o mesmo ponto inicial e final; (2) o mesmo número de bins. Ao converter o histograma em uma distribuição de probabilidade, a distância de Hellinger pode ser escrita como

Entre eles $p_{}$e $p_{}$是$S_{}$e $S_{}$Distribuição de probabilidade de erro de ajuste, ${você}_{}$soma $k_{}$é a probabilidade da i-ésima caixa, n é o número total de caixas
5. A maioria dos planos pode ser julgada de acordo com o método acima, mas quando a diferença de tamanho entre os dois planos é muito grande, a distância de Hellinger é muito grandes mesmo se forem coplanares, porque o pequeno plano A distribuição de erros de é mais compacta do que a de grandes planos.
6. A fim de eliminar o impacto negativo causado pelo desvio de tamanho, apenas o erro mínimo de ajuste dos pontos do plano pequeno em relação ao plano grande pode ser usado para julgar a distância entre um plano super grande (tamanho maior que um sexto do o tamanho da imagem) e um pequeno plano.Relação coplanar. Quando o erro mínimo é menor que $T_{}$Quando , os dois planos são definidos como planos coplanares.
7. Para dois planos coplanares e adjacentes, planos relativamente menores são mesclados em planos maiores, ou seja, $S_{}$fundido em $S_{}$. Então $S_{}$Remover da lista simples. com $S_{}$Planos paralelos também são considerados paralelos ao plano atualizado Su e adicionados ao grupo de planos paralelos de Su.
8. Repita esse processo até que nenhum outro par de planos paralelos possa ser mesclado.

Vale ressaltar que durante o processo de fusão, os planos de maior tamanho sempre têm prioridade devido à maior precisão das equações dos planos, o que pode garantir a eficácia do método proposto. O processo de fusão de planos é mostrado no fluxograma da Figura 7.

informação relacionada:distância Hellinger