Solution de suivi de plans croisés (suivi multi-sources)
Avant-propos :
Pour le suivi continu des objets cibles sous plusieurs objectifs, un algorithme de suivi multi-caméras est nécessaire pour résoudre le problème. Par exemple, lorsque la cible passe d'un objectif à un autre, la cible sera perdue.
Cet article prend comme exemple une scène de suivi de cible capturée par deux caméras. Considérons deux scénarios : (1) Il y a une zone de chevauchement entre deux caméras ; (2) Il n'y a pas de zone de chevauchement entre les deux caméras.
Caméras de zone sans chevauchement
S'il n'y a pas de zone de chevauchement entre les deux caméras, la détermination de la même cible entre les deux caméras nécessite l'utilisation d'une méthode de ré-identification (comme la méthode de tri profond), et l'utilisation de réseaux de neurones pour se concentrer sur l'extraction. des fonctionnalités cibles. Mais il existe des éléments tels qu'une apparence similaire qui conduit à des modèles confus, le début et la fin des trajectoires sont une tâche critique dans MOT, les interactions entre plusieurs cibles, le changement d'ID (la même cible est identifiée différemment dans les images consécutives).
Points techniques : détection de cible et association de cible. (1) La détection de cible prend en compte les caractéristiques apparentes de la cible ; (2) L'association de cible prend en compte la prédiction de trajectoire de la cible dans la période de temps suivante. Ce n'est qu'avec la prédiction que la correspondance peut être effectuée dans l'autre zone de la caméra.
Contient des caméras à zones superposées
Suivi de cible mobile coopératif multi-caméras avec champs de vision qui se chevauchent
1 Obtenez d'abord les informations de position de l'objet cible dans la première image et déterminez si la position est une zone de chevauchement ;
2 La zone de chevauchement correspondant aux deux sources de caméra doit avoir un modèle de cartographie de relation de position (ce modèle peut être obtenu grâce à la relation de position des pixels de la zone de chevauchement dans les deux sources, la méthode **** **** * *** est basé sur la correspondance de position des pixels, comme la construction d'un modèle d'ajustement et l'ajustement non linéaire de la courbe) ;
3. Les objets cibles générés par le modèle de cartographie de relation de position se trouvent aux positions correspondantes d'une autre source de caméra ;
4 Si les positions des deux sources sont les mêmes ou atteignent un certain seuil, elles sont considérées comme la même cible.
5 De plus : Les descriptions ci-dessus dans 1 à 4 sont équivalentes à l'appariement de cibles basé sur les contraintes des relations spatiales correspondantes ; bien entendu, les contraintes et l'optimisation du principe d'appariement de cibles basé sur les relations temporelles doivent également être prises en compte.
Les méthodes décrites aux points 1 à 4 ci-dessus n'utilisent pas l'extraction de caractéristiques cibles, ce qui réduit la consommation d'énergie de calcul. Il est également possible d'effectuer une extraction de caractéristiques sur la cible. La détection de cible obtient un cadre de détection avec la cible comme point central et génère les caractéristiques apparentes de la cible à ce point central ; tous les cadres de détection de cible sont associés et mis en correspondance en fonction de tous. ciblez les caractéristiques apparentes pour obtenir les trajectoires de suivi de toutes les cibles.
Pour suivre la trajectoire de chaque cible dans plusieurs vidéos, sélectionnez des images de haute qualité, puis utilisez le réseau neuronal profond entraîné pour extraire respectivement les caractéristiques d'apparence de la cible et les caractéristiques de la démarche ; puis effectuez une fusion ou une correspondance de caractéristiques sur plusieurs caractéristiques ; Enfin, croisez -un regroupement de corrélation de trajectoire de caméra est effectué.
réf
[1] https://zhuanlan.zhihu.com/p/137652129
[2] https://blog.csdn.net/wl1780852311/article/details/125912610
[3] https://github.com/damo-cv/TransReID
[4] https://xueshu.baidu.com/usercenter/paper/show