TechNOTE

Sparse Transformer 간단 정리. arxiv.org/pdf/1904.10509.pdf 서론 Transformer는 Sequence Input 의 context 정보를 잘 내포하도록 학습할 수 있는 모델인데, 차지하는 메모리 용량이 매우 크다. attention layer의 memory complexity는 무려 O(n^2). input sequence의 모든 token들이 다른 token들에 대해서 attention하는 값을 구하게 되기 때문이다. 이 memory complexity를 낮추려는 거의 초기의 시도! sparse tranformer는 sparse factorization을 통해서 이 memory complexity를 낮추었다. Key Idea Factorized Self Atte..