[Arranjo de algoritmo] Provavelmente o resumo mais abrangente dos métodos de estimativa de profundidade monocular auto-supervisionados/não supervisionados - Parte 1: Sequência de vídeo
fundo
Aproveitando a oportunidade de escrever o relatório de abertura recentemente, organizei os artigos relacionados à estimativa de profundidade monocular auto-supervisionada que li antes. Depois de resumir, sinto que escrever uma resenha é um pouco demorado e trabalhoso, então apenas compartilho aqui.
A lista de artigos está em constante atualização
- 16/04/2022: Artigos de sequência de vídeo - método de tarefa única: 19 artigos
- Sequência de Vídeo - Método Multitarefa
- Imagem binocular
Tempo de publicidade: SMDE-Pytorch
Desenvolvimento, treinamento e teste de estimativa de profundidade monocular auto-supervisionada com base em Pytorch
GitHub
Desde que venho fazendo estimativas de profundidade monocular auto-supervisionada no ano passado, tentei muito código sozinho. Mas a estimativa de profundidade monocular auto-supervisionada não tem uma caixa de ferramentas de desenvolvimento que inclua vários métodos como MMsegmentation. Se você não tiver um, faça um você mesmo!
- Para aqueles que querem apenas experimentar ou experimentar o efeito, a caixa de ferramentas pode realizar a estimativa de profundidade de sua própria imagem por meio de configurações e comandos simples.
- Para pesquisadores científicos, a caixa de ferramentas fornece modelos pré-treinados de métodos populares recentes, bem como códigos de teste unificados, que podem ser comparados convenientemente.
- Para aqueles que desejam desenvolver ainda mais, a caixa de ferramentas pode substituir facilmente a estrutura de rede, a função de perda e outras partes, permitindo que você explore e experimente mais rapidamente (por favor, aguarde).
O conteúdo da caixa de ferramentas é constantemente atualizado. Se você estiver interessado nesta caixa de ferramentas ou achar este resumo útil, deixe um lembrete Star em
nosso repositório GitHub ~
Estimativa de profundidade monocular com aprendizado auto-supervisionado
O objetivo da estimativa de profundidade monocular é prever um mapa de profundidade a partir de uma determinada imagem, representando a distância entre a cena e a câmera correspondente a cada pixel da imagem. O método de estimativa de profundidade monocular baseado em aprendizado autossupervisionado usa o modelo de rede profunda para concluir a previsão de profundidade densa e não requer amostras de treinamento com valores de profundidade reais na fase de treinamento, mas usa quadros contínuos na sequência de vídeo ou imagens tiradas por câmeras binoculares Como entrada, o modelo de rede profunda é treinado com a reconstrução da imagem como alvo.
De acordo com o formulário de amostra usado no treinamento, os métodos de estimativa de profundidade monocular baseados em aprendizado auto-supervisionado podem ser divididos em duas categorias: métodos que usam treinamento de sequência de vídeo e métodos que usam treinamento de imagem binocular.
Método usando treinamento de sequência de vídeo
No método de uso do treinamento de sequência de vídeo, os quadros contínuos na sequência de vídeo são usados como amostras de treinamento na fase de treinamento. Como o movimento da câmera entre quadros consecutivos é desconhecido, esses métodos precisam estimar o movimento da câmera entre a imagem de destino e a imagem de origem, além de estimar o mapa de profundidade da imagem de destino durante o estágio de treinamento.
abordagem de tarefa única
1.Aprendizagem não supervisionada de profundidade e movimento do ego a partir de vídeo （CVPR 2017）
Link original
Palavras-chave: Previsão simultânea de profundidade e movimento de câmera, avaliação subjetiva de cena dinâmica aprendível Máscara
: leitura obrigatória , o trabalho pioneiro desse tipo de método, basicamente determinou a estrutura de treinamento autossupervisionado/não supervisionado.
2. Aprofundamento do aprendizado a partir de vídeos monoculares usando métodos diretos （CVPR 2018）
Link do texto original
Palavras-chave: Use odometria visual direta combinada com profundidade prevista para prever o movimento da câmera
Avaliação subjetiva: Pessoalmente, sinto que a ideia é muito boa e é um dos poucos trabalhos que fazem barulho sobre a rede de movimento da câmera.
3. Aprendizado não supervisionado de profundidade e movimento do ego a partir de vídeo monocular usando restrições geométricas 3D （CVPR 2018）
Link para o texto original
Palavras-chave: Projetando profundidade no espaço tridimensional, adicionando restrições do ponto de vista da consistência da nuvem de pontos
Avaliação subjetiva: Uma das formas inovadoras de fazer funções de perda .
4. Explorando a estimativa de profundidade monocular auto-supervisionada （ICCV 2019）
Link original / código-fonte aberto / reproduzido em SMDE-Pytorch
Palavras-chave: Somente modificando a função de perda, a precisão da estimativa de profundidade é bastante aprimorada. Ao mesmo tempo, o uso de imagens binoculares e treinamento de vídeo binocular também é estudado
Avaliação subjetiva: leia , as funções de perda propostas são quase usadas como referência por todos os métodos subsequentes usando sequências de vídeo.
5. Aprendizagem não supervisionada de geometria a partir de vídeos com consistência normal de profundidade com reconhecimento de borda （AAAI 2018）
Link original
Palavras-chave: Converter profundidade em vetor normal de superfície, adicionar restrições a partir da perspectiva do vetor normal de superfície
Avaliação subjetiva: Uma das formas inovadoras de fazer a função de perda .
6.Perda de métrica de recursos para aprendizado auto-supervisionado de profundidade e egomotion (ECCV 2020)
Link do texto original
Palavras-chave: Um espaço de recursos especiais é projetado e o treinamento da rede é auxiliado pela consistência de recursos no espaço de recursos
Avaliação subjetiva: Leitura recomendada , uma solução para a área de textura repetida de textura fraca da imagem em treinamento auto-supervisionado.
7. Aprendizado de profundidade de alta resolução não supervisionado a partir de vídeos com redes duplas (ICCV 2019)
Link original
Palavras-chave: estrutura de rede dupla, alta resolução, módulo de auto-atenção
Avaliação subjetiva: um dos métodos para fazer inovações na estrutura de rede .
O empacotamento 8.3d para estimativa de profundidade monocular auto-supervisionada (CVPR 2020) / SMDE-Pytorch foi reproduzido
Link original / código-fonte aberto
Palavras-chave: Projete um novo método de upsampling e downsampling (semelhante à convolução sub-pixel) com a ajuda da convolução 3D para substituir o método de interpolação anterior
Avaliação subjetiva: Um dos métodos para fazer inovações na estrutura da rede .
9. Estimativa de profundidade treinada monocular autossupervisionada usando autoatenção e volume de disparidade discreta （CVPR 2020）
Link do texto original
Palavras-chave: Módulo de auto-atenção, profundidade discreta
Avaliação subjetiva: Um dos métodos para fazer inovações na estrutura da rede .
10. Profundidade de HR: Estimativa de profundidade monocular auto-supervisionada de alta resolução (AAAI 2021) / SMDE-Pytorch foi reproduzido
Link do texto original
Palavras-chave: Estrutura "Double Decoder", reponderação de canais
Avaliação subjetiva: Um dos métodos para fazer inovações na estrutura da rede .
11. Odometria visual monocular profunda não supervisionada e estimativa de profundidade com redes adversárias generativas （ICRA 2019）
Palavra-chave do Link Original
: Geração Adversária
Avaliação Subjetiva: Uma das formas inovadoras de fazer uma função de perda , a ideia de geração adversária é muito boa, mas o efeito é medíocre em termos de precisão.
12. GAN mascarado para profundidade não supervisionada e previsão de pose com consistência de escala (T-NNLS 2020)
Link original
Palavras-chave: geração de confrontação, processamento de aresta
Avaliação subjetiva: um dos métodos inovadores na função de perda , processamento adicional da área de aresta com base na geração de confrontação.
13.Aprendizado de representação guiada semanticamente para profundidade monocular auto-supervisionada (ICLR 2020)
Link original
Palavras-chave: Segmentação semântica, "transferência" de conhecimento
Avaliação subjetiva: Um dos métodos de combinação de informações semânticas , por meio de convolução adaptativa para extrair recursos orientadores dos recursos usados na rede de segmentação semântica para aprimorar o aprendizado profundo.
14. Previsão de profundidade sem os sensores: aproveitando a estrutura para aprendizado não supervisionado de vídeos monoculares (AAAI 2019)
Link do texto original
Palavras-chave: segmentação de instância, estimativa de movimento
Avaliação subjetiva: um dos métodos de combinação de informações semânticas , ao estimar o movimento, a situação de cada objeto em movimento é estimada separadamente.
15.Moving Indoor: Aprendizado de vídeo não supervisionado em ambientes desafiadores （ICCV 2019）
Link original
Palavras-chave: cena interna, restrições de fluxo óptico Avaliação subjetiva: Para a textura fraca e movimento complexo
de cenas internas , o fluxo óptico é usado em vez da reconstrução da imagem como restrição.
16.MonoIndoor: Rumo a Boas Práticas de Estimativa de Profundidade Monocular Auto-Supervisionada para Ambientes Internos （ICCV 2021）
Palavras-chave do link original
: Decoupling Depth and Scale, Residual Error Estimation Subjective Evaluation: Visando os problemas de grande variação na faixa de profundidade e movimento complexo
de cenas internas , uma nova solução é proposta.
17.P2 Net: Patch-Match e Plane-Regularization para Estimativa de Profundidade Interna Não Supervisionada （ECCV 2020）
Link para o texto original
Palavras-chave: superpixel, correspondência de ponto de recurso Avaliação subjetiva: Visando as características de textura fraca e muitos planos
em cenas internas , é proposto um esquema combinando restrições de plano.
18. Estimativa de profundidade monocular auto-supervisionada para imagens durante todo o dia usando separação de domínio (ICCV 2021)
Palavras-chave do Link Original
: Aprendizado de Domínio, Estimativa de Profundidade Noturna Avaliação Subjetiva: Um Método Proposto
para Estimativa de Profundidade de Cena Noturna Auto-Supervisionada.
19. Regularizando a Estranheza Noturna: Estimativa de Profundidade Monocular Auto-Supervisionada Eficiente no Escuro（ICCV 2021）
Palavras-chave do link original
: Aprimoramento de imagem, avaliação subjetiva de perda baseada em estatísticas anteriores : um método proposto
para estimativa de profundidade auto-supervisionada de cenas noturnas .
abordagem multitarefa
continua