3D-MPA: Agregação de várias propostas para segmentação de instância semântica 3D
Este artigo apresenta um artigo sobre o reconhecimento de nuvem de pontos no cvpr2020.
Tese
Atualmente, não existe código-fonte aberto
1. Problema
A principal dificuldade da detecção de alvo 3D é como prever e processar propostas de objetos. Uma maneira de pensar é uma abordagem de cima para baixo, retornando primeiro a um grande número de caixas e, em seguida, executando o segundo estágio de otimização. No entanto, se o desvio da caixa for relativamente grande, é difícil trabalhar com esses métodos. Outra maneira de pensar é de baixo para cima, aprendendo os recursos de cada ponto através do aprendizado métrico e, em seguida, agrupando para formar uma instância de acordo com as características desses pontos. No entanto, os parâmetros de armazenamento em cluster precisam ser ajustados manualmente e a quantidade de cálculo em pares é muito grande. Este artigo combina esses dois métodos para tirar proveito da pequena quantidade de cálculos do método top-down e tira proveito da robustez do recurso de ponto. Execute a expressão de recurso através do nível de ponto, mas não agrupe o nível de ponto, de modo a complementar as vantagens dos dois métodos.
2. Pensamentos
Este artigo contém três módulos. O módulo de geração de propostas aprende os recursos ponto a ponto, e cada ponto executa propostas para o ponto central ao qual ele pertence. A seguir, é apresentado o módulo de consolidação da proposta, que refina a proposta anterior. Por fim, o módulo de geração de objetos retorna ao resultado final. Vale ressaltar que o autor não utilizou o método NMS comum para regressão, pois o NMS pode perder os resultados corretos. Em vez disso, agrupa a proposta de alto nível, o que reduz bastante a quantidade de cálculo em comparação aos pontos de cluster diretamente.
3. Algoritmo
3.1 Geração de proposta
A convolução esparsa é usada para extrair os recursos de cada ponto e, em seguida, dividida em duas ramificações para prever a categoria semântica e retornar as coordenadas do ponto central da instância à qual cada ponto pertence.
Para o conjunto de pontos centrais obtido, k pontos são amostrados aleatoriamente como propostas de instância, e os pontos dentro do raio r de cada ponto central da proposta são considerados os pontos pertencentes às instâncias correspondentes e, em seguida, cada conjunto de pontos da proposta é extraído através de uma rede simples de pontos para proposta. recurso.
Cada proposta é representada por uma tupla (yi; gi; si), em que yi representa a posição do ponto central da proposta, gi representa o recurso da proposta e si representa o conjunto de pontos de instância correspondentes à proposta.
3.2 Consolidação da proposta
Para tornar os recursos da proposta mais interativos com os recursos globais, este artigo usa a idéia do DGCNN para criar um GCN para refinar os recursos da proposta.
3.3 Geração de Objetos
Aqui, obtemos K propostas 
para obter a pontuação de objetividade através do MLP. Se a distância do ponto central gt for menor que 0,3 m, ele será definido como positivo e se for maior que 0,6 m ou igual à distância entre os dois pontos centrais gt, será definido como negativo. Propostas negativas não são processadas.
Para propostas positivas, preveja primeiro a categoria semântica, depois os recursos de agregação e a máscara de instância binária. O recurso de agregação contém dois aspectos: Recursos geométricos e Recursos de incorporação. A
perda final é
4 Resultados experimentais
Sumário
O PointGroup anterior e este artigo têm semelhanças. Mas o MPA 3D deve ser mais rápido. Como não há artigos suficientes sobre a segmentação de instâncias, a perda de múltiplas tarefas parece inevitável.Eu sempre considero muito demorado e difícil de otimizar, o que é proibitivo.
