소개:
본 논문에서는 전송 맵, 대기광 및 디헤이징을 공동으로 학습할 수 있는 새로운 종단 간 단일 이미지 디헤이징 방법인 dcpdn(Densely Connected Pyramid Dehazing Network)을 제안합니다. End-to-end 학습은 대기 산란 모델을 네트워크에 직접 포함하여 달성되므로 방법이 물리학 기반 산란 모델을 엄격하게 따르도록 합니다. 조밀한 네트워크가 다양한 수준에서 기능의 정보 흐름을 최대화할 수 있다는 아이디어를 기반으로 전송 맵을 추정하기 위해 다중 수준 피라미드 풀링 모듈을 기반으로 하는 새로운 에지 보존 조밀하게 연결된 인코더-디코더 구조가 제안됩니다. 네트워크는 새로 도입된 에지 보존 손실 기능으로 최적화됩니다. 추정된 전송 맵과 디블러 처리된 결과 사이의 상호 구조 정보를 더욱 융합하기 위해 해당 디블러 처리된 이미지와 추정된 전송 맵이 진짜인지 가짜인지 판단하기 위해 생성적 적대 네트워크 프레임워크를 기반으로 하는 공동 판별자를 제안합니다. 어블레이션 실험을 통해 전송 맵 추정 및 디블러링 결과에서 각 모듈의 효율성을 검증합니다. 광범위한 실험을 통해 제안된 방법이 기존 방법에 비해 상당한 개선을 달성했음을 보여줍니다.
메인 네트워크 구조:
전송 그래프 추정( 제안된 피라미드 조밀하게 연결된 전송 그래프 추정 네트워크에 대한 조사 ):
Dense 블록을 기본 구조로 사용하는 CNN의 다중 레이어의 특징을 활용한 Densely Connected Encoder 구조를 제안한다. 고밀도 블록을 사용하는 이유는 이러한 피처를 따라 정보 흐름을 극대화하고 모든 레이어를 연결하여 더 나은 수렴을 보장하기 때문입니다. 또한 최적화에서 "글로벌" 구조 정보를 고려하여 학습된 기능을 개선하기 위해 다단계 피라미드 풀링 모듈이 사용됩니다. Dense 네트워크의 미리 정의된 가중치를 활용하기 위해 첫 번째 Conv 레이어와 처음 세 개의 Dense 블록, 사전 훈련된 Dense 네트워크121의 해당 다운샘플링 작업 전환 블록을 인코더 구조로 채택합니다. 인코딩 부분 끝에 있는 피처 크기는 입력 크기의 1/32입니다. 전송 맵을 원래 해상도로 재구성하기 위해 정제된 업샘플링된 Transition-Blocks가 포함된 5개의 dense 블록을 쌓고 동일한 차원의 특징 맵을 직렬로 연결합니다. 인코딩 부분에서 1/4, 1/8, 1/16, 1/32 다단계 풀링을 하는 이유: 더 많은 전역 정보를 얻고, 전송 추정 시 가능한 한 다척도 정보를 보존하기 위함 지도.
여기서, Gt는 추정된 투과도를 나타내고, Gd는 디헤이징 후의 이미지를 나타내는데, 투과도 Gt(I)와 디헤이징 후의 이미지 Gd(I)가 최대한 근접하도록 하기 위해서이다. 해당 real t 및 J 이므로 Joint Discriminator는 GAN으로 만들어지고 전송 Map 및 해당 dehazed Image는 최적화 대상으로 아래 그림과 같이 쌍으로 네트워크에 입력됩니다.
그 중 LE는 전체 에지 보존 손실, LE, l2는 L2 손실, LE, g는 양방향(수평 및 수직) 그래디언트 손실, LE, f는 특징 손실을 나타냅니다. LE, g는 다음과 같이 정의됩니다.
여기서 Hx와 Hy는 각각 행(수평)과 열(수직)을 따라 이미지 그래디언트를 계산하는 연산자이고 w × h는 출력 기능 맵의 너비와 높이를 나타냅니다. 특징 손실은 다음과 같이 정의됩니다.
제안된 DCPDN 아키텍처는 다음 네 가지 손실 함수를 사용하여 학습됩니다.
여기서 Lt는 가장자리 보존 손실 LE로 구성되고 La는 대기광을 예측하는 기존 L2 손실로 구성되며 Ld는 김서림 방지 손실을 나타내며 역시 L2 손실로만 구성됩니다. 공동 판별기 손실 2로 표시된 Lj는 다음과 같이 정의됩니다.
주요 이점:
1. 새로운 end-to-end 공동으로 최적화된 디헤이징 네트워크가 제안됩니다. 이것은 수학 모듈을 통해 최적화 프레임워크에 방정식( I(z) = J(z)t(z) +A(z)(1 − t(z)) , )을 직접 삽입하여 달성됩니다. 따라서 네트워크가 전송 지도, 대기광 및 디헤이즈 이미지를 공동으로 추정할 수 있습니다. 전체 네트워크는 단계적 학습 방법을 사용하여 훈련됩니다.
2. 전송 맵을 정확하게 추정하기 위해 에지 보존 피라미드 밀집 연결을 갖는 인코더-디코더 네트워크가 제안됩니다. 또한 새로 제안된 에지 보존 손실 함수에 의해 최적화됩니다.
3. 추정된 전송 맵과 디헤이즈된 이미지의 구조는 높은 상관 관계가 있기 때문에 GAN 프레임워크 내에서 공동 판별기를 사용하여 쌍을 이룬 샘플(즉, 전송 맵 및 디헤이즈된 이미지)이 데이터 분포에서 오는지 여부를 결정합니다.
4. 두 개의 합성 데이터 세트와 하나의 실제 이미지 데이터 세트에 대해 광범위한 실험을 수행합니다. 또한 여러 최신 방법과 비교하고 절제 연구도 수행하여 제안된 네트워크의 여러 모듈에서 얻은 개선 사항을 보여줍니다.
실험 결과 비교 차트:
평가 양식:
표 1: 합성 TestA 및 TestB 데이터 세트에 대해 평가된 절제 연구에 대한 정량적 SSIM 결과.
표 2: 합성 TestA 데이터 세트에 대한 정량적 SSIM 결과.
표 3: 합성 TestB 데이터 세트에 대한 정량적 SSIM 결과.
참고 문헌: [논문 해석] DCPDN-Densely Connected Pyramid Dehazing Network-CVPR2018_yhz_xi's Blog-CSDN Blog_dcpdn