Wavelet-Based All-in-One Dual-Branch Adverse Weather Image Restoration with Bidirectional Subband Interaction

Abstract

악천후 조건에서 획득된 영상은 비, 눈, 안개와 같은 열화로 인해 시각적 품질이 저하될 뿐 아니라, 다양한 비전 시스템의 성능 저하를 유발하는 주요 원인이 된다. 기존 올인원 악천후 영상 복원 방법들은 하나의 네트워크로 다양한 기상 열화를 처리할 수 있으나, 각 기상 현상이 영상의 저주파 및 고주파 성분에 서로 다르게 영향을 미친다는 점을 충분히 반영하지 못하는 한계를 가진다. 이를 해결하기 위해 본 연구에서는 웨이블릿 기반 올인원 이중 분기 악천후 영상 복원 네트워크를 제안한다. 제안 네트워크는 입력 영상을 웨이블릿 변환을 통해 저주파 및 고주파 부밴드로 분해한 뒤, 각 부밴드를 처리하는 이중 분기 인코더와 디코더 구조를 통해 복원 특징을 추출하고 재구성한다. 저주파 분기에서는 배경 보완 정보를 추출하고, 고주파 분기에서는 악천후 왜곡 패턴을 검출한다. 또한 양방향 부밴드 상호작용을 통해 저주파 배경 정보는 고주파 분기의 왜곡 검출을 돕고, 고주파 왜곡 정보는 다시 저주파 분기의 배경 복원을 정교화한다. 나아가 인코더와 디코더 내에서 합성곱과 트랜스포머를 주파수 특성에 맞게 비대칭적으로 배치함으로써 각 모듈의 장점을 효과적으로 활용한다. 실험 결과, 제안 모델은 다양한 악천후 데이터에서 기존 최신 방법들보다 우수한 복원 성능을 보였으며, 배경 보존과 왜곡 제거 측면에서도 뛰어난 결과를 달성하였다.