TechNOTE

Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design Ho et al. 2019 ICML arxiv.org/pdf/1902.00275.pdf Contribution 이 논문에서 주장하는, 이전 Flow model들의 세 가지 단점. 1. Dequantization을 위해 사용하는 uniform noise는 최적의 training loss, generalization 효과를 내는 선택이 아니다. 2. 일반적으로 사용되는, affine coupling flow들은 충분히 표현력이 강하지 않다. 3. coupling layer의 conditioning network에 사용되는 co..

FlowSeq : Non-autoregressive Conditional Sequence Generation with Generative Flow www.aclweb.org/anthology/D19-1437.pdfNon-autoregressive Neural Machine Translation Model 중에 SOTA 성능을 낸 paper. Flow를 적용했다. 1. Introduction 기본적으로 Neural Machine Translation 에서는 .. target sentence에서 decoding을 진행할 때 이전 토큰에 대한 정보가 다음 토큰에 큰 영향을 미치기 때문에 autoregressive structure를 가지고 있다. 하지만 이는 토큰 하나하나를 생성해야 하기 때문에 시간이 상대적..