TechNOTE

Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design Ho et al. 2019 ICML arxiv.org/pdf/1902.00275.pdf Contribution 이 논문에서 주장하는, 이전 Flow model들의 세 가지 단점. 1. Dequantization을 위해 사용하는 uniform noise는 최적의 training loss, generalization 효과를 내는 선택이 아니다. 2. 일반적으로 사용되는, affine coupling flow들은 충분히 표현력이 강하지 않다. 3. coupling layer의 conditioning network에 사용되는 co..

Normalizing Flow? Normalizing Flow 는 invertible한 bijective function을 쌓아서 만드는 Generative model인데, Affine coupling layer는 그 flow network를 구성하는 방법중에 하나이다 ㅎㅎ 즉 invertible하고 bijective하다는 뜻. 그래서 invertible function이 구하기 쉬워야 하고, log determinant를 구하는 과정이 efficient 해야 하는데 이 둘 다에 해당한다. 그래서 어떻게 되나 한번 보자.. ㅎㅎ Affine Coupling Layer $$x_a, x_b = split(x)$$ $$ m, logs = NN(x_a) $$ $$ x_b = m + x_a * exp(logs) ..