[미완성 쌍안경] 읽을만한 쌍안경

배경

한동안 쌍안경 공부를 해왔고 실제로 많은 문제에 부딪 혔는데 많은 논문을 읽은 후 특별한 의미가있는 논문을 정리하는 것은 내 생각을 정리하는 것과 같습니다. 많은 논문들이 몇 가지 특별한 혁신을 가지고 있지만 통합되지 않은 것이 조금 아쉽습니다.
다음에 나열되지 않은 논문은 나쁘지 않습니다. 다른 논문에서 포지셔닝 및 혁신 포인트를 다루고 있을 수 있습니다.

ThesisCREStereo _

먼저 CREStereo가 지금까지 테스트한 최고의 쌍안경 모델이라는 점을 언급하겠습니다.
아이디어는 RAFT-Stereo (광 흐름 방법 RAFT에서 탄생) 를 기반으로 LoFTR 및 1D/2D 대체 검색을 추가하는 것 입니다.
제 생각에는 두 가지 빛나는 점이 있는데 하나는 지속적인 반복을 통해 최적의 솔루션에 접근하는 RAFT에서 파생된 ConvGRU 반복입니다. Iteration을 기반으로 한 발상이 정말 굉장한데, 거의 모든 optical flow 방법이 RAFT를 기반으로 하고 있음을 알 수 있습니다. 다른 하나는 1D/2D 대체 검색으로, 약간의 수정 오류로 일부 양안 이미지의 얼굴 오류를 줄일 수 있습니다.
그런데 단점을 말씀드리자면 쌍안경의 경우 정확도와 속도를 동시에 얻을 수 없고 속도가 느리다는 단점이 있습니다. 속도가 느려지는 주된 이유는 ConvGRU의 반복입니다 구조는 모델의 구조적 순서가 상대적으로 강하고 병렬 작업을 잘 수행할 방법이 없다고 판단합니다.
현재 Middlebury는 더 정확한 또 다른 DLNR을 보유하고 있습니다: Decouple LSTM 및 Normalization Refinement가 있는 스테레오 매칭 네트워크 인 CVPR2023입니다.

논문 BGNET

BGNET은 내가 테스트한 가장 강력한 실시간 쌍안경입니다. 그 아이디어는 양방향 그리드의 도움으로 저해상도 피처에서 고해상도 비용 매트릭스를 직접 샘플링하는 것입니다. 두 번째는 동적 환경(여기서 CoEX라는 이름, 속도는 정말 빠르지만 테스트했을 때 카메라가 약간 흔들릴 때 좋지 않음)에 더 적응할 수 있는 양방향 필터를 추가하는 것과 같습니다. 세부사항은 아주 좋습니다. 이 모델의 포인트는 주로 bilateral grid이고, 그 특징 추출은 GwcNet을
참고하는데 , 이것도 읽어볼만한 글입니다.

ThesisSMD -네트

SMD 논문의 주요 하이라이트는 Mixture Density Networks를 사용하여 양안 네트워크의 매우 두드러진 문제인 에지의 원활한 전환을 해결하는 것입니다.
사실 이것이 순위적으로 문제가 되지 않는다면 최종 지표의 정확도에는 큰 차이가 없을 것이지만 실제 적용에 관한 한 가장자리에서 시차 값의 과도한 평활화는 공간에 중복된 점이 있을 것입니다. 다음은 논문에 있는 사진입니다. 이 문제를 언급하는 다른 논문 여기에 이미지 설명 삽입
도 있습니다 . 최종 출력은 컨볼루션 구조로 인계될 때 필연적으로 에지 문제가 발생합니다.

이것은 엔지니어링 응용 프로그램의 장면에 따라 큰 문제가 될 수 있습니다.공간 투영을 통해 필터링하는 방법이 있지만 일부 작은 문제는 직접 필터링되므로 그다지 이상적이지 않습니다.
이 논문은 시차를 맞추기 위해 두 개의 가우스 분포를 사용하며 최종 효과는 매우 좋습니다. 휴대성도 비교적 강하다.
그러나이 구조의 작은 문제는 시차 범위가 고정 될 수만 있다는 것입니다. 시차 범위를 줄여서 가속화하려는 경우에는 그다지 친숙하지 않습니다. 더 연구할 여지가 있을 수 있다고 생각합니다.

작은 요약

양안 문제 자체에 관한 한 반복이라는 아이디어가 특히 정확할 수 있는 유일한 방법이라고 생각합니다. 고전적인 특징 추출 + 비용 집계 계산 + 시차 계산 + 세선 구조, 최적의 시차는 결과의 최적 값이 아닌 원본 이미지의 최적 값일 수 밖에 없다고 생각합니다. 덜 추상적 인 것을 말하십시오). 두 가지 목적 모두에서 가장 아름다운 결과를 얻을 수 있는 유일한 방법은 반복 방법이며, 반복 방법의 효과가 크게 향상된 이유입니다.
그러나 반복이 여전히 너무 느리고 실시간 성능 측면에서 여전히 bilateral grids, groupwise convolution 등과 같은 몇 가지 수단을 찾고 약간의 절충안을 만들어야 합니다.
에지 문제는 크거나 작을 수 있으며 더 심화될 수 있다고 생각합니다.