1. Visão geral da estimativa da pose humana
O conceito de estimativa de pose humana
Identifique pontos-chave, como rostos, mãos e corpos de uma determinada imagem.
Entrada: imagem.
Saída: coordenadas de pixel de todos os pontos-chave.
Tarefas posteriores:
Reconhecimento de comportamento:
PoseC3D: Reconhecimento de ação comportamental baseado na postura humana
CG, animação:
Interação humano-computador:
Análise do comportamento animal:
Estimativa de pose 2.2D
Descrição da tarefa de estimativa de pose humana 2D: localize as coordenadas dos pontos-chave do corpo humano na imagem
2.1 Duas ideias básicas para implementação:
(1) Baseado em Regressão - Modele o problema de detecção de pontos-chave como um problema de regressão, permitindo que o modelo preveja diretamente as coordenadas dos pontos-chave através da última camada de regressão linear.
Desvantagens: É difícil retornar coordenadas diretamente e a precisão não é ideal. (Experiência histórica)
(2) Baseado em mapa de calor - previsão da probabilidade de pontos-chave em cada local.Vantagens
: A previsão do modelo de mapas de calor é relativamente mais fácil do que coordenadas de regressão direta, e a precisão do modelo é relativamente maior (mais alinhada com a estrutura de a rede neural));
Desvantagens: O custo computacional da previsão de mapas de calor é maior do que o da regressão direta (informações maiores precisam ser mantidas, mas existem estudos para melhorar esse problema)
O processo específico do método baseado em mapa de calor:
(1) Gere um mapa de calor a partir da anotação de dados, e cada ponto-chave deve passar pelo processo mostrado na figura abaixo.
(2) Use o mapa de calor para treinar o modelo
(3) Restaure os pontos-chave do mapa de calor.
Método para restaurar a posição coordenada do ponto-chave do mapa de calor de um determinado ponto:
Método ingênuo: Encontre a posição do máximo valor do mapa de calor
Regressão Integral da Pose Humana: O mapa de calor normalizado forma a probabilidade de que os pontos estejam localizados em locais diferentes e, em seguida, calcula a expectativa do local.
Vantagens: diferenciável; contínuo, sem erro de quantização
2.2 Método de implementação
Método de cima para baixo (TopDown)
Etapas:
Etapa 1. Use o algoritmo de detecção de alvo para detectar cada corpo humano.
Etapa 2. Estime a postura de cada pessoa com base na imagem de uma única pessoa.
Desvantagens:
(1) A precisão geral é limitada pela precisão do detector
(2) ) A velocidade e a quantidade de cálculo serão proporcionais. Em termos de número de pessoas,
desenvolvimento:
(1) Alguns trabalhos novos (como SPM) consideram agregar duas etapas em uma etapa
Método de baixo para cima (BottomUp)
Etapas:
Etapa 1. Use o modelo de ponto-chave para detectar todos os pontos-chave do corpo humano.
Etapa 2. Combine os pontos-chave em diferentes pessoas com base em relações posicionais ou outras informações auxiliares.
Vantagens:
(1) A velocidade de inferência não tem nada a ver com o número de pessoas.
abordagem de estágio único
Método baseado em transformador
2.3 Documentos sobre implementação específica
Abordagem de cima para baixo baseada em regressão
-
DeepPose (2014)
melhora a precisão por meio de cascatas.
Vantagens:
(1) O modelo de regressão pode, teoricamente, atingir precisão infinita. A precisão do método do mapa de calor é limitada pela resolução espacial do mapa de recursos. (2)
O modelo de regressão não precisa para manter mapas de recursos de alta resolução. , o nível de cálculo é mais eficiente. Em contraste, o método do mapa de calor precisa calcular e armazenar mapas de calor e mapas de recursos de alta resolução, e o custo de cálculo é maior.
Desvantagens:
(1) O mapeamento das imagens para as coordenadas dos pontos-chave é altamente não linear, tornando as coordenadas de regressão mais difíceis do que os mapas de calor de regressão, e a precisão dos métodos de regressão também é mais fraca do que os métodos de mapa de calor. -
Estimativa de log de verossimilhança residual (RLE) (2021)
Projeto re-parametrizado
Função de verossimilhança residual
Modelo RLE completo
Conhecimento prévio complementar:
1. A conexão entre regressão e estimativa de máxima verossimilhança.
Portanto, a regressão de duas normas implica a suposição de que a posição do ponto-chave está em conformidade com uma distribuição gaussiana isotrópica com variância fixa.
2. Normalização do Fluxo Normalização do Fluxo
Método top-down baseado em mapa de calor
1. Hourglass (2016) - propôs atingir o SOTA, que foi gradativamente superado
2. Simple Baseline (2018) - segue uma estrutura simples
3. HRNet (2020)
abordagem de baixo para cima
1.Part Affinity Fields e OpenPose (2016)
Conhecimento complementar:
correspondência de gráfico da parte K (a ser complementado)
abordagem de estágio único
1.SPM (2019)
Design de Rede
Método baseado em transformador
1.PRTR 2021
Algoritmo PRTR de dois estágios
Algoritmo PRTR de estágio único
2.TokenPose (2021)
Resumo da estimativa de pose 2D
Estimativa de pose humana 3.3D
3.1 Conceito de estimativa de pose 3D
Ao prever as coordenadas dos pontos-chave do corpo humano no espaço tridimensional a partir de uma determinada imagem, a postura do corpo humano pode ser restaurada no espaço tridimensional.Entrada: Saída da imagem: As coordenadas espaciais
de
todos os pontos-chave de todas as pessoas
Dificuldade : Restaurar informações 3D de imagens (ou vídeos) 2D
3.2 Ideias de implementação
previsão direta
Use informações de vídeo
Aproveite imagens de visualização múltipla
Conhecimento adicional:
3.3 Documentos sobre implementação específica
1.Predição volumétrica grossa a fina 2017
2.Simple Baseline 3D (2017)
3.VideoPose3D (2018)
4.VoxelPose (2020)
4. Indicadores de avaliação para estimativa da pose humana
(1) Porcentagem de peças corretas (PCP)
(2) Porcentagem de juntas detectadas (PDJ)
(3) Porcentagem de pontos-chave corretos (PCK)
(4) Similaridade de pontos-chave de objeto (OKS) com base em mAP
5.Pose densa
Parametrização da superfície do corpo humano
Método de rotulagem
Estrutura de rede
Design aprimorado
Malha Corporal
Mistura de esfola
Linear Blend Skinning LBS (Linear Blend Skinning)
6. Modelo paramétrico do corpo humano
Modelo paramétrico do corpo humano SMPL
Recuperando modelos humanos 3D em movimento a partir de imagens ou vídeos
Lógica básica de design do SMPL
Representação do modelo humano SMPL
projeto de treinamento
Aplicação do modelo SMPL
Modelo paramétrico do corpo humano
SMPL
SMPLificar
HMR