크라우드 카운팅의 주류 혁신 방향 분류

크라우드 카운팅의 정의: 크라우드 카운팅은 이미지 또는 비디오 스트림에 존재 하는 전체 군중을 세거나 추정하는 기술로 알려져 있습니다 .

母任务： 객체 계수 의 목표는 단일 이미지 또는 비디오 시퀀스에서 객체 인스턴스의 수를 계산하는 것입니다. 응용 프로그램 감시, 미생물학, 밀집도 추정, 제품 계수 및 교통 흐름 모니터링과 같은 많은 실제 응용 프로그램이 있습니다.

혁신방향 :

동영상에 대한 군중 계산 모델을 찾고 구축합니다. (이거 만들면 총 이노베이션 작업량의 50%가 됩니다. - 이게 졸업논문의 가장 중요한 포인트입니다! 이것만 만들면 밸러스트석이 생기고 졸업은 안정 - 직접 수집 고품질 조건을 충족하는 자체 개발 데이터 세트 + 자체 제작 데이터 라벨링 + 데이터 전처리 혁신, 혁신 포인트의 25%가 거기에 있으며 시장에서 가장 강력한 모델로 변경 가능 비디오에 적응.비디오에서 계산, 혁신 포인트는 이미 제자리에 있습니다. ) 현재 군중 계산 데이터 세트의 대다수는 사진을 계산하기 위한 것입니다. 이 모델에서 사용하는 대부분의 데이터 세트는 내가 나열된 9개입니다. 1개는 동영상이고 7개는 모두 카운팅을 위한 정적 개별 사진입니다. ——그들이 그림의 관중석에서 했던 꽃 작업, 트릭, 모델 구조 혁신 중 서너 가지를 옮겨보고 다른 사람들에게 배웠습니다——처음으로 그들의 모델 혁신의 장점을 비디오 분야에 도입했습니다. , 단점에 대해 약간의 최적화 및 개선을하고 아무도 사용하지 않은 가장 높은 점수를 가진 것을 선택하십시오. 처음으로 사용했고 많은 트릭을 사용하여 만들었습니다. 모델에 가장 적합하고 이 장면에 가장 적합합니다. 적응, 나는 혁신입니다—(P2PNet, CSRNet, SANet)——이 사진은 관련이 없습니다. 아마도 이것은 특정 역의 군중 사진이고 다음은 하나는 어떤 정방형 사진 속 군중의 사진이다. 하지만 우리의 과제는 상가의 10분짜리 영상을 모아서 10분 안에 얼마나 많은 사람들이 등장하는지 세는 것입니다. 마지막으로 Heavy로 이동하여 마지막으로 얼마나 많은 사람이 지나갔는지 세십시오. 각 프레임의 밀도 분석과 피플 카운팅부터 영상의 흐름 분석까지. (이 주제에 대한 5개의 논문: https://github.com/gjy3035/Awesome-Crowd-Counting/blob/master/src/Video.md)

GAN을 사용하여 수집된 비디오 데이터를 향상시켜 더 많은 비디오 데이터를 생성하십시오. 뭐가 문제 야?

고품질(예: 다양한 조명과 날씨를 다루는 군중 계수 비디오)과 더 큰 비디오 군중 계수 데이터 세트를 제공합니다.

각각은 임무를 수행하고 레이어에서 작동합니다. 다음 모델이 병렬화 되고 최종적으로 병합되고 모든 고급 기술이 쌓입니다. (1) 감지는 카메라 근처의 머리를 식별하는 데 사용됩니다. YOLO-v7과 같은 do what you do, (2) 카메라에서 멀리 떨어진 위치에서 밀도 추정으로 추정된 헤드의 수, (3) 시맨틱 세그멘테이션이 어떤 역할을 하는지, 아직 보지 못했는데-- 해야 할 일을 하기 위해 가장 진보된 세분화 방법을 취하십시오. 다른 방향으로 유행하는 멋진 기술과 트릭을 결합: 작은 대상 감지(인간 포즈 모델), 의미론적 세분화, 현저성 감지 결합, (문제는 모델이 너무 있다는 것일 수 있음) 많은 매개 변수와 데이터 양이 모델을 잘 훈련시키기에 충분하지 않아 일반화 능력이 좋지 않고 훈련 세트의 과적합, 테스트 세트의 낮은 점수 및 유사한 모델이 발생합니다.)

Object countin(기타 카운팅) 방향의 기술을 참고할 수 있습니다.

모델을 더 좋게 만들기 위해 화려하고 세련된 기술을 도입하십시오 . 주의 변압기 bert 시리즈 모델을 사용할 수도 있습니다.

가능하면 (1) 모델 증류, 가지치기, 경량화(Light-weight Model) 방향으로 개발 (카메라와 같이 연산 능력이 상대적으로 떨어지는 기기에 배치되기 때문에) —— [Deep Eye has read the paper on 경량 모델, 그리고 읽은 후에 많은 것을 얻을 것입니다], 가능한 한 (2) 압축된 모델의 예측 시간을 가속화하고, 심지어 실시간(Real-Time)을 달성하거나, 절제 실험을 통해, 점수에 좋지 않은 일부 점수를 개선하는 경우가 많지만 예측 시간이 크게 증가합니다.구성 요소가 제거되거나 일부 선택 항목의 정확도가 감소하지만 모델 크기가 훨씬 작거나 예측 시간이 훨씬 적습니다.

주석 방식, 태그 생성, 네트워크 설계, 손실 설계, 모두 혁신 가능

중밀도 및 저밀도 교통통계에 가장 적합한 모델을 찾아 구축하고 모델식수, 예측시간, 그래픽카드 메모리사용량(컴퓨팅자원소모량) 을 줄 이면서 최대의 정확도를 확보 표준 . 오늘날 대부분의 모델은 인구 밀도가 매우 높은 데이터 세트용으로 설계되었습니다. 고밀도 군중 계수 모델은 종종 매개변수가 더 많고 더 복잡합니다. 이러한 비용의 소비는 공원 및 비즈니스 구역의 인구 계수에 불필요합니다. (검출 기반 방법이 시나리오에서 더 잘 작동할 가능성이 있습니다.)

"헤드 업" 각도로 동영상 촬영에 적합한 "군중 카운팅" 모델을 찾으십시오 . 현재 대부분의 군중 사진은 지상에서 약 2미터(또는 그 이상)에서 아래를 내려다보며 사진을 찍거나 비디오. 가능하기 때문에 또는 학교의 감시 비디오) 그러나 우리가 세는 장면은 쇼핑가 또는 공원에 있으며 카메라는 지상에서 약 1.7m 위치에서 촬영하고 시점은 정면입니다. 사진 속 인물의 모습과 위에서 본 인물의 모습이 다릅니다. 이 촬영 각도에 맞는 모델을 선택하거나 제안해야 합니다.

오인하기 쉬운 다양한 장면의 데이터는 오인을 방지하기 위해 보장됩니다. 다음과 같은 시나리오가 가능하며 인원은 집계되지 않지만 인원은 집계되지 않습니다.

우산, 사람이 식별되어야지, 식별되지 않는 우산 머리가 아니라 여전히 사람입니다.
사람이 아닌 사람의 그림자가 사람의 그림자로 인식되며, 정오 무렵에는 사람을 닮은 강한 그림자가 있을 수 있습니다.
겨울에는 어둡고 이 장면에 대한 데이터가 없습니다. Winter Darkness.11월과 12월에는 훨씬 더 빨리 어두워지지만 모델은 주로 낮에 있는 사람들의 이미지로 훈련되었습니다.
겨울 눈 훈련 데이터에는 눈이 내리지 않았으며 이제 다음과 같은 실수가 있습니다.

2D에서 3D로 사진 및 비디오, RGBD 이미지 수집 (하지만 카메라가 없을 수도 있고 구하는 데 꽤 비쌉니다) (중고 200 위안, 직접 500 ~ 3000 위안)

또한 이미지를 기반으로 식별할 수 있으며, 보행자 특성 인식 사람은 남녀, 연령은 어린이, 청소년, 노년, 교통 흐름을 제공하는 사용자 초상화, 포즈 추정 자세 추정 - 이 레스토랑에 몇 명이 대기하고 있는지 판단 , 그리고 지나가는 사람들을 차별화 - 따라서 이 지점의 평균 대기열 수가 30명이고 다른 지점이 10명이라면 매장 영역을 30명 매장으로 확장해야 합니다.

다른 사람들은 어떻게 혁신합니까?

스케일 변화 스케일 변경 , 동일한 사진의 다른 위치, 사람의 머리 크기가 다릅니다(클로즈업 렌즈는 가깝고 훨씬 작음); 다른 사진, 사람의 머리 크기도 다릅니다

2016_MCNN: 컨볼루션 신경망, 컨볼루션 커널 크기가 다른 CNN 네트워크를 병렬화한 다음 융합

2018_CSRNet: (1) Dilated CNN을 통해 입력 크기를 줄이지 않고 수용 필드 확장 (2) 더 깊은 네트워크 추출 기능 VGG-16 도입

2017_SwitchCNN: 사진의 다른 위치에 있는 다양한 군중 밀도를 고려하여 스위치 레이어를 사용하여 각 패치를 높음, 중간 및 낮음의 세 가지 유형의 밀도 수준으로 나눕니다. 그림에 있는 사람의 수를 계산하기 위해 속한 밀도 수준에 해당하는 네트워크에 패치를 할당합니다.

2018_IG_CNN: Switch-CNN의 업그레이드 버전으로 밀도 수준을 인위적으로 설정하는 대신 모델 성장 Growing Network라는 아이디어를 채택하여 모델 수준을 자동으로 나눕니다. 프로세스는 이진 트리와 유사합니다.

2016_CrowdNet: 병렬로 연결된 두 개의 네트워크, 하나의 Deep Network는 렌즈에 가까운 얼굴 정보(높은 수준의 의미 정보)를 캡처하고 하나의 Shallow 네트워크는 렌즈 기능에서 멀리 떨어진 작은 머리 얼룩(낮은 수준)을 캡처하는 데 사용됨)

2019_SAANet: (1) 합성을 위해 다중 밀도 지도와 다중 어텐션 마스크 결합 (2) 손실 함수를 최적화하고 스케일 인식 손실을 사용하여 네트워크 백본 앞 레이어에서 생성된 밀도 맵이 작은 머리에 더 많은 주의를 기울이도록 합니다. , 및 백본 뒤의 레이어 생성된 밀도 맵은 큰 헤드에 더 많은 관심을 기울입니다. 의 헤드는 어텐션 헤드(5)에 대해 근거리 및 원거리(4)에서 사용됩니다. 업샘플링은 풀링 방지 대신 이중선형을 사용합니다.

2017_MSCNN: 다중 열 네트워크 구조는 많은 계산이 필요하기 때문에 저자는 다중 열 구조를 사용하지 않고 다중 스케일 기능을 동시에 캡처하기를 희망합니다. 구조)

2018_SANet: 인셉션 아키텍처와 유사한 모듈을 사용하며 각 컨볼루션 모듈은 서로 다른 크기의 컨볼루션 커널을 병렬로 여러 컨볼루션을 수행하며 이러한 병렬 컨볼루션 블록을 사용하여 다중 스케일 특징을 추출하고 최종적으로 디컨볼루션을 통해 밀도 맵을 얻습니다.

2019_AutoScale: 그림에서 무리하게 먹물이 묻은 부분을 빼내고 자동으로 배율을 학습하여 이 부분을 다른 부분과 가까운 정도로 확대하여 함께 카운팅

2019_L2SM: 멀리 밀집된 군중의 사진을 확대하여 전체 사진의 예측 밀도 맵을 블록으로 나눈 다음 평균 밀도에 따라 각 블록의 밀도 수준을 판단합니다.고밀도 블록의 경우 줌 밀도 맵을 다시 계산한 다음 축소하고 다시 합칩니다.

2019_PGCNet: scale-changeing gaussian blur+fix kernel conv를 사용하여 이를 달성합니다.커널 변경의 가우시안 블러는 투시도를 기반으로 결정됩니다.

2019_DSSINet: (1) CNN의 서로 다른 깊이의 레이어는 서로 다른 정보를 포함합니다. 얕은 피처는 더 많은 구조화된 정보를 포함하고, 딥 피처는 더 많은 의미 정보를 포함합니다. 이 둘은 상호보완적입니다. U-Net 피처를 직접 연결하는 방법입니다. (2) 조건부 랜덤 필드 CRF를 사용하여 서로 다른 레이어 간의 기능 융합 (3) SSIM의 손실을 개선하고 확장 및 SSIM을 제안 손실, 즉 DMS-SSIM

2020_PDANet: (1) 네트워크는 주의, 피라미드 규모 기능 및 밀도 인식 군중 계산을 위한 2개의 분기 디코더 모듈을 활용합니다. (2) 전용 밀도 인식 디코더 DAD는 서로 다른 이미지 간의 밀집도 변화를 처리합니다. (3) 저밀집 밀도 맵과 고밀집 밀도 맵의 합을 공간 주의로 간주하여 전체 밀도 맵을 생성합니다.

주의 모델과 트랜스포머를 소개합니다.

2019_SAANet: 어텐션 헤드를 사용하여 백본에 의한 C 채널 출력의 기능 맵을 3채널(QKV) 기능 맵으로 변환

2019_SFANet: (1) U-net의 구조를 모방하고, 먼저 VGG16을 사용하여 끝까지 다운샘플링하고, 업샘플링은 두 개의 분기로 나뉩니다. 하나는 어텐션 맵 경로, 하나는 밀도 맵 경로입니다. (2) 분할 마스크는 지상 실측을 만들 때 사용됩니다.

2019_ADCrowdNet: 주의를 사용하여 복잡한 배경의 영향을 필터링하고 밀도 맵 추정 네트워크가 군중 영역에 집중하도록 합니다.

2019_CAN: 사진에서 사람 머리 크기의 차이를 나타내는 특징의 세부 정보를 감지하는 데 주의를 기울입니다.

2019_RANet: 기능 융합을 위해 self-attention을 사용하고 기능 맵에서 서로 다른 위치에 있는 기능의 가중 평균을 결합합니다.

2018_DecideNet: 사용 주의

2019_Scale-Aware Attention: 글로벌 및 로컬 Attention 네트워크를 통한 조밀한 군중 계산 평가 기반의 Scale-Aware Attention 네트워크

2019_신다기: 어텐션 네트워크 활용

2018_강 : 사용주의

2020_PDANet: 주의가 사용됨

실측/밀도 맵을 만드는 방법 :

2019_SAANet: Far away: 적응 기하학을 위한 실측 계산 제작. 주변: 머리가 감지될 수 있는 경우 별도로 정의된 공식이 있음

2019_SFANet: 세그먼테이션의 실측값 생성: 위의 카운팅 실측실측에서 가우시안 블러링 수행

2019_PSDDN: (1) 뾰족한 점을 직접 사용하여 Ground Truth 만들기, (2) Nearest Neighbor Head Distance를 사용하여 Box 형식의 Ground Truth를 초기화, (3) Ground Truth 업데이트 후 교육 프로세스 중에 Ground Truth를 지속적으로 최적화 기차를 달성하기 위해

2019_Content-aware: ground truth를 만드는 새로운 방법 제안 (1) brute-force를 사용하여 가장 가까운 머리를 찾고 가장 가까운 이웃까지의 거리를 구하는데, 이는 kd 트리가 찾지 못하는 문제를 보완하기 위해 사용됩니다. 가장 가까운 (2) Chan-Vese 윤곽 성장법을 통해 두상 윤곽 결정

2019_Adaptive_density_map: 밀도 맵의 생성 프로세스를 학습 가능하게 만들어 모델이 훈련될 때 밀도 맵을 지속적으로 미세 조정하여 보다 합리적인 밀도 맵을 생성할 수 있습니다.(1) 모듈을 사용하여 밀도 맵을 학습 프로세스 미세 조정 밀도 맵(2)은 self-attention 모델을 사용하여 점 주석에서 밀도 맵을 적응적으로 생성합니다.

2019_DADNet: MCNN에서 여러 열에 대한 아이디어 얻기, CSRNet에서 확장된 전환에 대한 아이디어 얻기, 플러스 Deformable Conv

손실 함수 설계

일반적으로 여러 손실 함수가 함께 추가됩니다.

2019_SAANet: 규모 인식 손실 규모 인식 손실 및 MSE 손실

2019_PSDDN：로컬 제약 회귀 손실，

2018_ACSCP: 합성 손실 1, CSCP 손실

BCE 분류 손실, 경계 상자 회귀 손실, BCE 분류 손실

2019_DSSINet: SSIM의 손실을 개선하고 Dilation과 SSIM을 결합한 확장된 Multiscale Structural Similarity 손실, 즉 DMS-SSIM을 제안했습니다.

2019_S-DCNet: 손실은 두 가지 제약 조건을 사용합니다. 하나는 교차 엔트로피 분류의 손실이고 다른 하나는 예상 인원의 L1 손실입니다.

2019_SPANet: (1) 제안된 Maximum Excess over Pixels, 즉 MEP 손실 (2) 잔차 맵이 아닌 사전 밀도 맵을 기반으로 한 일련의 반복 솔루션 제안

2018_SaCNN: 모델을 공동으로 최적화하기 위해 두 개의 손실 함수를 도입했습니다. 하나는 밀도 맵 손실이고 다른 하나는 상대 계수 손실입니다.

2021일반화 손실 함수: 일반화 손실 함수

기타 모델 혁신 :

기타 모델: 어텐션 및 변환기 도입, GAN 도입, 불리한 손실을 사용하여 밀도 맵이 너무 흐려지지 않도록 제한, 커리큘럼 학습 점진적 학습 도입, 자동 인코더 모델 훈련을 위한 감독되지 않은 방법 도입, 기능을 융합하기 위한 조건부 임의 필드 도입

2018_CSRNet: Dilated Convolution 소개

2017_Spatiotemporal: 양방향 ConvLSTM 모델

2017_CP-CNN: 피라미드 컨볼루션 사용

2018_SANet: Inception 아키텍처를 사용하는 모듈

2019_GWTA_CCNN: WTA 기반 오토인코더 아이디어 개선, GWTA 기반 오토인코더 방식 제안

2019_AFN: 조건부 랜덤 필드 CRF의 반복 업데이트 메커니즘을 사용하여 서로 다른 레이어 간의 기능 융합 실현

2019_Bayesian_loss: 베이지안 통계 지식 소개

2015_Liu: 가우시안 프로세스를 기반으로 한 베이지안 모델

2019_PSDDN: 커리큘럼 학습이 사용되었습니다.

2019_SGANet: 분할 예측 분기 및 커리큘럼 학습(CL)과 결합된 백본으로 Inception-v3를 사용하여 간단한 것부터 어려운 것까지 학습합니다.

2018_ACSCP: GAN이 사용되며 불리한 손실이 제약에 사용됩니다.

2017_CP-CNN: Adversarial loss를 사용하며, Euclidean distance loss function의 결점을 극복하기 위해 GAN(Generative adversarial net)[8]을 사용한다.

계산을 돕기 위한 기타 작업: 세분화 방법 소개, 감지 방법 소개, (yolo-v7과 같은 최신 기술 사용)

2019_MANet: 계수에 5개의 분할 마스크가 적용됨

2019_-Focus for free: 세그먼테이션, 카우팅, 분류의 세 가지 작업을 통합하고, 세그먼테이션을 사용하여 couting에 대한 공간 주의를 제공하고, 분류를 사용하여 계산에 채널 주의를 제공하고, 마지막으로 계산의 정확성을 촉진하는 것입니다.

2017Cascaded-MTL: 전체 모델에는 두 개의 하위 작업이 있습니다. 두 개의 하위 작업: 하나는 군중 수 분류이고 다른 하나는 밀도 맵 추정입니다.

2018DecideNet: 기존 신기술을 병렬로 사용, 검출, 회귀 방법, 어텐션, 최종 융합 수행 (1) 군중 밀도가 작을 때 검출 기반 방법이 더 좋습니다. (2) 군중 밀도가 클 때 회귀 기반 방법의 효과가 더 좋습니다. Quality net은 중간에서 RegNet과 DetNet을 조정합니다.

2015_Cross-Scene: 모델이 동시에 두 가지 작업을 수행하며 이미지 블록의 군중 밀도와 총 군중 수라는 두 숫자를 번갈아 회귀합니다. 모델은 군중 밀도 맵 + 총 인원수를 출력합니다.

2017_Zhao: 시맨틱 분할 프레임워크 FCN 기반 계산

잘못된 분류 :

2021_P2PNet: Density Map과 Bounding Box의 두 중간 단계를 버리고 머리의 위치와 확률 값을 직접 예측

2021_CCTrans: Vision Transformer 기반, 다중 스케일 수용 필드 회귀 헤드(무엇인지 모름), 세 가지 손실 함수 최적화

2019_MANet: 백본에서 사용하는 스케일 인식 레이어인 카운팅에 세그먼테이션 마스크를 적용하는 5가지 방법을 연구하고 Ground Truth를 만드는 과정에서 마스크를 도입했습니다. 그는 5개의 구조를 제안하고 결과를 비교했습니다.

2019_PSDDN: (1) 뾰족한 점을 사용하여 실측 정보를 만듭니다. (2) resnet101은 마지막으로 완전히 연결된 레이어(resnet101은 일련의 4개 블록임)를 제거하고 Resblock3 및 Resblkock4에서 생성된 기능 맵을 가져온 다음 처리하고 함께 병합합니다. 예측을 얻기 위해(3) 손실 함수는 다음을 다양하게 사용합니다. BCE 분류 손실, 경계 상자 회귀 손실

2019_GWTA_CCNN: Unsupervised+supervised 방식, 6계층 신경망, 처음 4계층은 unsupervised 방식으로 훈련하고, 마지막 2개 계층은 supervised 방식으로 훈련한다. GWTA 기반의 새로운 방법 제안 Autoencoder 방법

2018_ACSCP: (1) 생성된 Density Map의 저해상도 문제에 대해 U-net 구조를 사용하여 Density Map을 입력과 동일한 해상도로 업샘플링 (2) 생성된 Density Map의 Blur 문제에 대해, (3) 다른 밀도 영역의 예측에서 불연속성 문제의 경우 교차 규모 일관성 제약 조건이 채택됩니다 . 즉, 밀도가 다른 패치에 의해 생성된 밀도 맵을 밀도와 결합해야 합니다 전체 이미지에 의해 생성된 맵이 가능한 한 일관되도록

2019_PACNN: 투시도를 계산하는 방법과 투시도를 밀도지도 평가 모델과 결합하여 더 나은 밀도지도를 얻는 방법 제안

2019_CAN: 서로 다른 수용 필드를 달성하기 위해 서로 다른 커널 크기의 컨볼루션 커널을 사용하는 대신 서로 다른 헤드 크기의 정보를 기능에 반영합니다. Saliency detection과 유사한 방법을 사용하여 Feature에 있는 상세 정보를 Attention으로 탐지하여 Feature를 최적화하고 최종적으로 Scale 정보를 통합한 Context-Aware Feature를 생성합니다.

2019_RRSP: 모델이 더 나은 일반화 능력을 얻을 수 있도록 2개의 사진 사이의 차이점을 학습하기 위해,

2019_S-DCNet: (1) 사진을 네모난 조각으로 자른다 각 조각의 인원이 20명을 초과하면 각 조각의 인원이 20명을 넘지 않을 때까지 네 개의 사각형으로 나눈 다음 각 패치 예상 인원수, (2) 백본으로 VGG16

2019_CCCNet: 사진 속 사람 수를 세는 것뿐만 아니라, 얼마나 많은 사람들이 서로 다른 자세로 있는지 판단하는 것입니다.

2019_DACC: 더 나은 스타일 전달 효과를 얻기 위해 구조와 질감을 분리하는 아이디어인 스타일 전달 아이디어를 사용하고 구조와 질감을 결합하여 재구축한 다음 합성 스타일을 전달한 후 일반적인 계산 교육을 수행합니다. 진짜로

2021_Cross-Modal Collaborative: RGBT 맵의 히트맵도 크라우드 카운팅에 도입

2018_SaCNN: 동일한 탐지 정확도를 보장하면서 속도가 크게 향상되고 네트워크 구조의 복잡성이 크게 줄어듭니다. (1) 단일 열 모델, 단일 네트워크 구조, 작은 크기의 컨볼루션 커널은 다른 컨볼루션 커널의 후속 교육을 위해 고정된 기능을 추출하는 데 사용됩니다. 모델 매개변수가 크게 줄어듭니다.

2018_Liu: 비지도 방법을 사용하여 레이블이 지정되지 않은 데이터 세트에서 학습

2021_Cross-View Cross-Scene: 다각도로 바라본 사진의 융합

2017_Spatiotemporal: 시공간 정보와 군중 이동 정보를 고려한 양방향 ConvLSTM 모델

2019_신다기: 어텐션 메커니즘을 포함한 다양한 스케일의 하향식 및 상향식 기능 융합

2017CP-CNN: Context Pyramid Contex Pyramid Convolutional Neural Network 카운팅 모델. GCE(global context estimator)와 LCE(local context estimator)는 각각 이미지의 global과 local context 정보를 추출하고, DME(density map estimator)는 MCNN의 multi-column network를 따르는 구조로 고차원 특징을 생성한다. fusion convolutional neural network(fusion-CNN, F-CNN)는 처음 세 부분의 출력을 융합하여 밀도 맵을 생성합니다 F-CNN은 일련의 fractional step convolution layer를 사용하여 밀도 플롯의 세부 사항을 .

2018_ic-CNN: 획득한 밀도 맵을 저해상도(Low Resolution, LR) 밀도 맵에서 고해상도(High Resolution, HR) 밀도 맵으로 점차 세분화

기술적 어려움 도전

(1) 군중 스케일(장면 변경 밀도 변경) 및 머리 크기를 포함한 스케일 변동 스케일 변경. 현재 멀티 스케일 기능 융합과 멀티 스케일 밀도 맵 융합의 두 가지 주요 솔루션이 있습니다. 서로 다른 레벨의 피처 또는 밀도 맵을 융합하여 스케일 변동을 어느 정도 완화할 수 있습니다.

(2) 폐색 문제 폐색. 대부분의 최신 연구는 이러한 어려움을 완화하기 위해 컨볼루션 신경망의 강력한 기능 추출 및 학습 기능을 활용합니다 .

(3) 인구분포가 불균일하고, 개인분포가 불균등하며, 인구밀도분포도 편차가 크다. 두 가지 솔루션: 어텐션 메커니즘과 패치 기반 처리를 사용하여 어텐션 메커니즘은 모델이 혼잡한 영역에 더 많은 주의를 기울이도록 합니다 . 또 다른 방법은 입력 영상을 여러 개의 패치로 나누어 서로 다른 패치를 개별적으로 처리하여 불균일한 분포 문제를 완화하는 것이다.

(4) 각도 변경

(5) 기타 데이터 세트가 적고 배경 잡음이 크며 조도 차이가 큰 등

군중 계수의 유용성

이를 통해 관리자는 승객 흐름이 가장 많은 시간에 직원을 늘리고 서비스 품질을 개선하며 판매를 늘리고 유휴 시간에 직원을 줄여 인력 낭비를 피할 수 있습니다.

다른 층과 다른 영역의 승객 흐름 통계를 통해 관리자는 각 영역의 유인율과 혼잡도를 계산하여 매장을 합리적으로 분배하고 매출을 높일 수 있습니다.

지속적인 일일 승객 흐름 통계를 통해 하루, 일주일, 한 달, 일년의 승객 흐름 변경 규칙을 얻을 수 있으므로 관리자는 향후 활동을 정확하게 계획하고 시간, 인력 및 재고 주문 수량을 결정할 수 있습니다.

승객 동선 비교를 통해 개최된 프로모션 활동을 효과적으로 평가하고 마케팅 및 프로모션에 대한 투자 수익을 효과적으로 평가합니다.

승객 흐름의 통계를 통해 카운터와 상점의 임대료 수준을 객관적으로 결정할 수 있습니다.

현재 승객 흐름 상태 및 변화 추세를 표시하고, 교통량이 많은 지역에서 비상 사태를 방지하기 위한 조치를 취하고, 현재 쇼핑몰에 머무르는 사람들의 수를 실시간으로 관찰하여 전기, 유지 관리 인력 및 보안 인력을 합리적으로 조정합니다. , 몰 비용의 운영을 제어하기 위해

상권의 유동인구에 대한 통계로, 개점할 곳, 폐점할 곳, 사람은 많은데 운영이 잘 안되어 회전율이 높지 않은 곳을 파악

교통량이 많은 공원과 공중 화장실의 경우 쓰레기통을 더 많이 설치하고 청소하는 사람을 늘리고 스포츠 및 피트니스 장비를 늘리고 수리 자원을 더 많이 확보해야 합니다.

공공 안전: 2015년 상하이 외탄 압사 사건과 같이 한국 이태원의 붐비는 혼잡, 사람들의 흐름 통계, 사람들의 흐름이 임계값보다 크며 밖으로만 나가지 않고 압사를 방지합니다.

새로운 왕관 전염병, 사회적 거리, 사람들은 밀집할 수 없으며 밀집 여부를 결정하기 위해 사람의 수를 셀 수 있습니다

상하이 디즈니랜드와 베이징 유니버셜 스튜디오는 각 어트랙션마다 30분 또는 1시간 동안 줄을 서는데, 감시 카메라를 사용하여 매 순간 대기하는 사람들의 수를 세고 공식 계정에 올릴 수 있다면 사람들은 오랫동안 뛰지 않을 것입니다. 알고 보니 서클에 사람이 너무 많음/플레이어 수가 적은 이벤트에서는 더 많은 사람이 플레이하게 할 수 있고, 플레이어 수가 많은 이벤트에는 많은 사람이 줄을 서지 않도록 할 수 있습니다.

매 시간마다 슈퍼마켓에 머무는 사람의 수를 파악 특정 시간(체류 시간)에 매장 안에 있는 사람의 수를 구하고 슈퍼마켓의 각 선반 옆에 머무르는 사람의 수를 결정합니다. 전자와 후자의 면적을 줄임 CCTV 영상의 도움으로 소매점 내부의 다양한 섹션(식료품, 음료 등)에 있는 사람들의 수.

군중 폭동 및 압사 발생을 방지하고 예기치 않은 사람들의 모임에 대한 조기 경고를 제공합니다.

도시 계획도시 계획

1. 공공 안전 관리: 군중 계수의 가장 중요한 목적은 공공 비디오 감시에 사용하고 각 장면의 사람 수를 실시간으로 출력하고 밀도가 너무 높은 장면을 시간에 보고하여 관리자가 대응할 수 있도록 하는 것입니다. 2014년 말에 와이탄에 쇄도하는 사태가 재발하지 않도록 적시에 그들을 인도하십시오.

2. 공공 공간 디자인: 공항 터미널, 기차역, 쇼핑몰 및 기타 공공 건물과 같은 기존 공공 장소의 군중 분석은 군중 안전 및 편의의 관점에서 장면 디자인의 중요한 결함을 드러낼 수 있습니다. 이러한 연구는 더 나은 안전을 보장하고 사람들의 여행 활동을 용이하게 하기 위해 공공 공간의 디자인을 개선하는 데 사용될 수 있습니다.

3. 데이터 수집 및 분석: 정보를 수집하고 추가 분석 및 추론을 수행하는 데 사용할 수 있습니다. 예를 들어, 소매업에서는 군중 계산을 사용하여 상점의 제품에 대한 사람들의 관심을 측정하고 해당 정보를 기반으로 배치할 적절한 제품을 선택할 수 있습니다. 마찬가지로 군중 계산은 대기 시간을 최적화하기 위해 교통 규제를 위해 서로 다른 시간에 대기하는 사람들의 수를 측정하는 데에도 사용할 수 있습니다.

4. 가상 시뮬레이션 설계: 기본 현상을 이해하는 데 사용할 수 있으므로 정확한 시뮬레이션을 제공하는 수학적 모델을 구축할 수 있습니다. 이러한 수학적 모델은 컴퓨터 게임, 영화 장면에 시각 효과 삽입 및 대피 계획 설계와 같은 다양한 응용 프로그램에 대한 군중 현상을 시뮬레이션하는 데 더 사용될 수 있습니다.

5. 기타 시각적 작업 지원: 폭발, 총격 및 기타 사고 현장과 같은 일부 그룹 이벤트에서 용의자와 피해자를 검색합니다. 군중 계수 기술은 얼굴 감지/인식 작업을 지원하여 이러한 작업을 보다 정확하고 범죄자를 더 잘 찾을 수 있도록 합니다.

6. 기타 비전 작업의 기초: 경기장, 관광 명소, 쇼핑몰 및 공항과 같은 장소에는 보안 및 안전 목적으로 군중을 모니터링하기 위해 많은 수의 감시 카메라가 널리 배치되어 있습니다. 그러나 설계 제한으로 인해 기존의 비디오 감시 방법은 고밀도 군중 상황을 처리할 수 없습니다. 이 경우 행동 분석, 혼잡 분석, 이상 감지, 이벤트 감지와 같은 군중 분석 관련 작업을 위해 특별히 설계된 알고리즘을 활용할 수 있습니다.