Sunwoo Lee

Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training

저랭크 학습(Low-rank training)은 효율적인 심층 학습을 위한 핵심 전략임에도 불구하고, 모델의 표현력을 영구적으로 제약하고 ‘랭크 붕괴(Rank Collapse)’를 가속화한다는 근본적인 한계를 내포한다. 본 논문에서는 이를 해결하기 위해 동적 랭크 학습(Dynamic-rank training) 프레임워크를 제안한...