Solução de rastreamento cruzado (rastreamento de múltiplas fontes)

Prefácio:

Para rastreamento contínuo de objetos alvo sob múltiplas lentes, é necessário um algoritmo de rastreamento entre câmeras para resolver o problema. Por exemplo, quando o alvo muda de uma lente para outra, o alvo será perdido.

Este artigo toma como exemplo uma cena de rastreamento de alvo capturada por duas câmeras. Considere dois cenários: (1) Há uma área de sobreposição entre duas câmeras; (2) Não há área de sobreposição entre as duas câmeras.

Câmeras de área não sobrepostas

Se não houver área sobreposta entre as duas câmeras, a determinação do mesmo alvo entre as duas câmeras requer o uso de um método de reidentificação (como o método deepsort) e o uso de redes neurais para focar na extração de características alvo. Mas existem coisas como aparência semelhante que leva a modelos confusos, o início e o fim das trajetórias são uma tarefa crítica em MOT, interações entre múltiplos alvos, troca de ID (o mesmo alvo é identificado de forma diferente em quadros consecutivos).

Pontos técnicos: detecção de alvos e associação de alvos. (1) A detecção do alvo considera as características aparentes do alvo; (2) A associação do alvo considera a previsão da trajetória do alvo dentro do próximo período de tempo. Somente com a previsão a correspondência pode ser realizada na outra área da câmera.

Contém câmeras de área sobrepostas

Rastreamento de alvo móvel cooperativo multicâmera com campos de visão sobrepostos

1 Primeiro obtenha as informações de posição do objeto alvo na primeira imagem e determine se a posição é uma área sobreposta;

2 A área de sobreposição correspondente às duas fontes de câmera precisa ter um modelo de mapeamento de relacionamento posicional (este modelo pode ser obtido através do relacionamento posicional de pixel da área de sobreposição nas duas fontes, o método **** **** * *** é baseado na correspondência de posição dos pixels, como construir um modelo de ajuste e ajustar a curva de forma não linear);

3. Os objetos alvo gerados pelo modelo de mapeamento de relacionamento de posição estão nas posições correspondentes de outra fonte de câmera;

4 Se as posições das duas fontes forem iguais ou atingirem um determinado limite, elas são consideradas o mesmo alvo.

5 Além disso: as descrições acima em 1-4 são equivalentes à correspondência de alvos com base nas restrições das relações espaciais correspondentes; é claro, as restrições e a otimização do princípio de correspondência de alvos com base nas relações temporais também precisam ser consideradas.

Os métodos descritos em 1-4 acima não usam extração de recursos de destino, o que reduz o consumo de energia de computação. Também é possível realizar a extração de características no alvo. A detecção do alvo obtém um quadro de detecção com o alvo como ponto central e gera as características aparentes do alvo neste ponto central; todos os quadros de detecção do alvo são associados e combinados com base em todos recursos aparentes do alvo para obter as trajetórias de rastreamento de todos os alvos.

Para a trajetória de rastreamento de cada alvo em vários vídeos, selecione quadros de alta qualidade e, em seguida, use a rede neural profunda treinada para extrair os recursos de aparência do alvo e os recursos de marcha, respectivamente; em seguida, execute a fusão ou correspondência de recursos em vários recursos; Finalmente, cruze -o agrupamento de correlação de trajetória da câmera é executado.

referência

[1] https://zhuanlan.zhihu.com/p/137652129

[2] https://blog.csdn.net/wl1780852311/article/details/125912610

[3] https://github.com/damo-cv/TransReID

[4] https://xueshu.baidu.com/usercenter/paper/show