주제
이미지 초해상도를 학습하려면 GAN을 사용하여 이미지 저하를 먼저 수행하는 방법 학습
요약
본 논문은 이미지와 얼굴의 초해상도에 관한 연구이다. 이 문제에 대한 이전 작업의 대부분은 합성적으로 단순한 쌍선형 다운샘플링(또는 일부 경우 블러링 후 다운샘플링)을 통해 저해상도 이미지의 해상도를 높이는 방법에 초점을 맞췄습니다. 실제 세계에서 저해상도, 저화질 이미지에 적용했을 때 이러한 방법이 좋은 결과를 내지 못한다는 것을 발견했습니다. 이 문제를 피하기 위해 우리는 2단계 과정을 제안하는데, 먼저 high-to-low generative adversarial network를 훈련하여 짝을 이루지 않은 고해상도 이미지와 저해상도 이미지만 훈련하는 동안 저하 및 다운그레이드하는 방법을 학습합니다. . 이것이 달성되면, 이 네트워크의 출력은 저해상도 및 고해상도 이미지 쌍을 사용하여 이미지 초해상도를 달성하기 위해 low-to-high GAN을 훈련하는 데 사용됩니다. 우리의 주요 결과는 이제 이러한 네트워크를 사용하여 실제 저해상도 이미지의 품질을 효율적으로 개선할 수 있다는 것입니다. 우리는 제안된 방법이 다른 객체 범주에 적용될 수 있지만 기준선 및 이전 작업에 비해 상당한 개선을 보고하는 얼굴 초해상도 문제에 제안된 파이프라인을 적용했습니다.
소개
실제 이미지 초고해상도를 수행할 때 흐림(예: 동작 또는 디포커스), 압축 아티팩트, 색상 및 센서 노이즈를 포함하여 고려해야 할 모든 노이즈 요소가 있습니다. 이러한 유해한 요소는 종종 알려지지 않았으며(예: 모션 블러) 때로는 효과적으로 모델링하기 어렵습니다(예: 다중 저하의 경우). 실제 이미지 열화 모델이 가정 및 모델링된 모델과 다를 경우 테스트 시 성능 저하가 불가피합니다. 이를 완화하기 위해 본 논문에서는 이미지 저하 프로세스를 모델링하는 대신 high-to-low 생성 적대적 네트워크를 사용하여 학습할 것을 제안합니다. 제안된 네트워크는 훈련 중에 짝이 없는 이미지 데이터를 사용하므로 저해상도 및 고해상도 이미지의 쌍이 필요하지 않고 상관되지 않은 저해상도 및 고해상도의 두 세트만 필요하므로 대응이 없습니다. 이것이 달성되면 high-to-low GAN을 사용하여 고해상도 이미지를 "현실적으로" 다운스케일 및 다운샘플링하고 이러한 이미지를 입력으로 사용하여 "페어링된" 이미지 설정에서 초해상도를 학습할 수 있습니다.
방법
High-to-Low 생성기는 SRGAN과 유사한 아키텍처를 채택합니다. 주요 차이점은 첫 번째 레이어가 HR 이미지를 입력으로 사용하고 투영된 노이즈 벡터와 연결한 다음 완전히 연결된 레이어에 의해 모양이 변경된다는 것입니다. 이 문제는 일대다이기 때문에, 즉 HR 이미지는 다양한 양과 방식으로 적용되는 다양한 소스의 여러 유형의 노이즈에 의해 영향을 받을 수 있으므로 HR 이미지에 대응하는 여러 LR 이미지가 있을 수 있습니다.
High-to-Low Discriminator는 6개의 잔여 블록을 포함하는 ResNet 아키텍처를 사용합니다.
High-to-Low 네트워크의 Generator 및 Discriminator 네트워크는 GAN과 L2 픽셀 손실의 조합인 총 손실을 사용하여 학습됩니다.
Low-to-High 생성기는 3개의 그룹으로 분산된 17개의 잔차 블록으로 구성되며, 각 그룹에는 그룹 내의 첫 번째 블록과 마지막 블록을 연결하는 스킵 연결이 있습니다. High-to-Low 입력에 사용된 노이즈 벡터의 도움으로 이전 단계에서 샘플 다양성을 얻었으므로 이 단계에서는 추가 노이즈 벡터가 사용되지 않습니다.
Low-to-High discriminator는 High-to-Low에서 사용되는 동일한 discriminator입니다. 단, 두 개의 새로운 max-pooling 레이어가 추가되어 해상도 증가를 사용합니다.
Low-to-High 손실은 High-to-Low에서 사용되는 것과 동일한 손실입니다.
실험
