TechNOTE

요약 conditional information을 GAN의 discriminator에 합치는 것을 projection based 로 하는 것을 제안했다. 기존에 input conditional information을 concat 하는 방식과는 다르고, 이 방법으로 class conditional image generation task에서 SOTA 달성했다고 한다. https://github.com/pfnet-research/sngan_projection pfnet-research/sngan_projection GANs with spectral normalization and projection discriminator - pfnet-research/sngan_projection github.com 1. ..

공부할 겸, 되짚어볼 겸 GAN 리뷰 시작해 본다! 시작!! 1. Basic Idea Generative Model 을 Estimation 할 때 Adversarial 하게 학습을 시키는 새로운 framework을 제시했다. Sample을 생성해 내는 Generator와, generator에서 나온 sample이 실제인지 아니면 만들어진 것인지 분류하는 Discriminator를 함께 학습 시켜서, 이상적으로는, Generator가 training data distribution을 모델링 하여 discriminator가 모든 데이터에 대하여 1/2 확률을 가질 수 있도록.. 학습시키는 것이다. 2. Model 자 그럼 모델링을 어떻게 하면 좋을까? 데이터 x로부터 generator distribution..

Dynamic Time Warping은 두 시간 시퀀스를 더 잘 비교하기 위한 metric Soft Dynamic Time Warping은 optimal 한 Path 만을 고려하는 DTW 와는 다르게 다른 path들도 같이 고려하는 metric Differentiable 해서 딥러닝에도 사용이 가능하다고 한다. arxiv.org/pdf/1703.01541.pdf 이 그림에 보면 보라색 부분 cost 가 optimal 이다.. 이 알고리즘을 설명하면 이거인데 이거 그냥 a1, an까지의 선택지가 있을때 gamma=0일때는 일반적인 DTW 로 minimum만 고르는거고 아닐 때는 위의 식처럼 모든 path들을 계산해 주는 거다. 시간복잡도는 O(nm)인데 줄이자면 O(2n)으로 줄일 수 있지만 어차피 bac..

EATS 논문을 읽던 중, loss function에 Soft dynamic time warping 이 사용된 것을 확인하였다. Dynamic Time Warping 은 연속적인 시퀀스 를 비교할 때, 유클리디안 거리 보다 더 알맞게 거리 측정을 해주는 좋은 녀석이다. 설명을 해 보도록 하겠다. Dynamic Time Warping A = [2,2,3,4,5] B = [1,2,3,3,4] 다음과 같은 두 sequence 데이터를 비교한다고 생각 해보자. (EATS를 기준으로 생각해 보면.. 사실 offset의 기준에 따라 generator 가 sqeuence를 만들어 내긴 하지만 그 기준이 제대로 학습되지 않았을 때는 시작과 끝이 다를 수도 있을 것이다.) Euclidian distance를 생각해 본다..