Integrating Non-Local Neural Networks into Deep CNN Image Denoising via Residual Learning

Abstract

본 논문에서는 Non-Local Block을 DnCNN의 중간층에 삽입한 하이브리드 아키텍처 NL-DnCNN을 제안한다. DnCNN(Zhang et al., 2017)은 잔차 학습과 배치 정규화를 결합하여 강력한 기준 성능을 확립하였으나, 3×3 합성곱의 국소 수용 영역 한계로 장거리 의존성을 포착하지 못한다. 본 논문은 Non-Local Block(Wang et al., 2018)을 DnCNN 중간층(p=8)에 삽입한 NL-DnCNN을 제안한다. 단 하나의 Non-Local Block 삽입으로 BSD68에서 DnCNN 대비 σ∈{15,25,50} 전 구간에 걸쳐 평균 +0.11 dB PSNR 향상을 달성하였다. Urban100에서는 반복 구조의 풍부한 자기 유사성 때문에 +0.11 dB의 더 큰 향상을 보인다. 추론 속도는 9.7 FPS로 실시간 처리에 근접하며, 파라미터 증가율은 +1.48%에 불과하다.