참조 코드: MCDP
소개하다
본 논문에서는 서로 다른 카메라에서 다시점 자기주도 깊이 추정의 깊이 표현을 위한 일관성 제약 조건을 구축합니다. 제약 조건을 설정하기 위한 정보는 인접한 카메라 간의 시야각이 겹치는 영역에서 나옵니다. 아래 그림과 같이 이러한 영역은
서로 다른 시야각 사이의 깊이 제약 관계는 서로 다른 카메라 간의 외부 매개 변수를 보정하여 구성됩니다. 즉, 주변 카메라에서 예측한 깊이는 투영 후 대상 카메라의 깊이 값과의 차이를 최소화해야 합니다 .
손실 수준에서 서로 다른 관점의 깊이 제약 조건을 구축하는 것 외에도 초기 깊이 추정 결과에도 특징 표현 차원에서 채널 수준에서 가중치를 부여하여 깊이 표현을 보다 표현력 있게 만들고 가중치 계수를 반복적으로 최적화할 수 있습니다. 방법 계단식은 깊이 추정 결과를 최적화합니다.
그러나 기사의 절제 실험에서는 깊이 일관성에 대한 특징 차원 과 손실 차원 의 기여도를 비교하지 않았습니다 . 다중 규모 추정은 고전적인 자기 지도 깊이 추정에도 사용됩니다. 손실 차원의 제약 조건이 다음과 같은 경우 덧붙여, 계단식 최적화라고도 볼 수 있습니다.
방법 설계
깊이 가중치 요소의 반복 업데이트
여기서 네트워크의 최종 생성 결과는 초기 깊이 추정 결과와 가중치 계수의 중첩으로 기술되며, 가중치 계수는 여러 반복 라운드에서 지속적으로 최적화되지만 초기 깊이 추정 결과는 변하지 않습니다. 즉, 아래 그림의 반복에 대응하여
인접한 원근정보에 따라 깊이가중 가중치가 변경되도록 하려면 두 정보를 융합해야 하는데, 이 부분이 대상 특징 맵에 정렬됩니다. 기사에서 언급한 카메라 1과 카메라 2의 워프 동작인 수집 위치 워프의 형태로 나타납니다. 정렬된 특징을 분류하여 가중치 계수를 업데이트하며 그 구조는 아래 그림과 같습니다.
깊은 일관성 제약 손실
아래 그림을 보면 왼쪽과 오른쪽 뷰와 중간 뷰 사이에 겹치는 부분이 있는 것을 볼 수 있는데, 워프를 이용하여 왼쪽과 오른쪽 뷰의 깊이 추정 결과를 중간 뷰에 맞추는 것이 바로 그것입니다. 위의 단계는 다음과 같습니다
: 깊이 정렬, 정렬 후 깊이 결과는 중간 뷰 자체에서 추정한 깊이와 일치해야 하며 L1 손실 함수를 사용하여 차이를 최소화하도록 제한할 수 있습니다.
아래 그림은 본 논문에서 제시한 방법을 이용하여 다양한 시야각 하에서의 깊이 추정 결과를 나타낸 것으로, 이 제약 조건을 추가한 후 다양한 시야각 하에서 깊이 차이가 크게 나타나는 상황이 완화되었음을 알 수 있다.
3. 실험 결과
