딥러닝을 공부하다가 inductive bias라는 개념은 CNN을 다룰 때나 transformer를 다룰 때 자주 들어보았지만, 최근 spectral bias라는 개념을 처음 접했다. 특정 task에서만 발생하는 bias라면 그냥 지나갔겠지만 짧게 알아본 바로는 모든 neural network 학습 과정에서 전반적으로 나타나는 bias여서 알아두어야 할 것 같았다. 그래서 이 글은 간략하게 나마 spectral bias가 뭔지 설명하고 그 파훼법을 정리하기 위해 적는다. Spectral bias On the Spectral Bias of Neural Networks 라는 제목의 논문에서 저자들이 처음 주장했다. By using tools from Fourier analysis, we highlight a..
